6 Novembro 2024
Desvendar Black Boxes: Compreender modelos de Machine Learning com Large Language Models
Desvendar Black Boxes: Compreender modelos de Machine Learning com Large Language Models
Desafio
“White boxes” e “Black boxes” são termos usados para descrever algoritmos de Machine Learning (ML). Estes modelos não são facilmente compreensíveis para quem está fora da área, o que torna difícil para as entidades interessadas entender e aceitar as decisões dos modelos. Para reduzir esta lacuna, desenvolveu-se a área de Explainable AI (XAI) com a intenção de melhorar a transparência e a compreensão das decisões dos modelos, levando, em última análise, a um maior nível de confiança e segurança ao aplicar modelos de ML em domínios críticos.
Solução
Para auxiliar na interpretação do modelo, a BI4ALL utiliza XAI. Estas ferramentas ajudam a identificar a importância de cada variável nas previsões do modelo. No entanto, interpretar o significado de cada contribuição e o seu contexto em cada problema continua a ser um desafio.
Ao combinar um Large Language Model (LLM) com uma técnica de XAI para melhor compreender as decisões do modelo e explicar cada decisão no contexto do desafio, bem como ao combinar o contexto do problema com os resultados da técnica de XAI, a BI4ALL consegue inserir esta informação numa prompt do LLM, traduzindo contribuições numéricas complexas em explicações simples e específicas para o contexto de cada problema ou negócio. Por fim, as saídas da interpretação do modelo são apresentadas num relatório.
Benefícios
Através da resposta do LLM, as partes interessadas conseguem determinar se a previsão é plausível e compreender o que levou o modelo a antecipar uma previsão específica. Esta simplificação na expressão dos resultados elimina o conceito de “Black boxes,” resultando em transparência e responsabilidade no uso do modelo e permitindo que todas as entidades interessadas compreendam e utilizem os resultados sem receios.
Num mundo onde a Inteligência Artificial e Machine Learning são soluções cada vez mais presentes, a capacidade de interpretar “Black boxes” facilita o desenvolvimento de um comportamento ético e responsável, bem como a aplicação útil destas tecnologias para o bem da humanidade.
Estatísticas
20%
de melhoria
na métrica F1 Score ao usar técnicas de XAI para identificar informações tendenciosas.
60%
dos utilizadores
preferem ver os resultados explicados pelo LLM em vez de utilizarem apenas as bibliotecas XAI.
Aplicações práticas
-
Diagnóstico médico
-
Abandono escolar
-
Previsão no turismo
-
Pontuação de leads
-
Deteção de fraudes
Exemplo
Considere uma empresa de saúde que usa um modelo de Machine Learning para prever resultados dos pacientes com base em vários fatores médicos. Ao integrar um LLM com uma XAI, a empresa consegue gerar um relatório que explica cada previsão em termos simples e específicos para o contexto. Por exemplo, se o modelo prevê um alto risco de diabetes para um paciente, o LLM pode fornecer uma explicação detalhada, mas acessível, destacando fatores como elevado IMC, histórico familiar e idade. Este relatório ajuda médicos e administradores de saúde a compreender o raciocínio por detrás da previsão do modelo, assegurando que possam tomar decisões informadas e comunicar de forma eficaz com os pacientes sobre os seus riscos de saúde.