Explicabilidade em IA: técnicas e práticas para transparência e ética

Explicabilidade de IA - Apresentação

Iniciando o curso de Explicabilidade e Inteligência Artificial

Olá! Vamos dar início ao nosso curso de Explicabilidade e Inteligência Artificial, no qual exploraremos o mundo da explicabilidade, conhecendo suas principais técnicas e aplicações.

Meu nome é Mariana, sou instrutora na Alura, cientista de dados e professora apaixonada pelo mundo da ciência de dados e inteligência artificial. Estarei acompanhando vocês ao longo deste curso.

Apresentando o conteúdo do curso

Neste curso, abordaremos os conceitos de explicabilidade e seus trade-offs (compensações). Além disso, veremos exemplos de aplicações práticas.

Este curso está desenvolvido em seis aulas. Inicialmente, vamos compreender o que é a explicabilidade e como ela se entrelaça com a interpretabilidade. Além disso, conheceremos duas das principais técnicas utilizadas: SHAP e LIME. Também exploraremos como a explicabilidade é aplicada no contexto das redes neurais. Para essas três aulas, teremos tanto a parte teórica quanto a parte prática.

Por fim, vamos conhecer os paradigmas relacionados à aplicação da explicabilidade no mundo da IA generativa. Esperamos que este curso contribua para o seu crescimento profissional. No próximo vídeo, conheceremos os conceitos da explicabilidade e classificaremos suas técnicas. Até lá!

Explicabilidade de IA - Entendendo a Explicabilidade

Discutindo a importância da explicabilidade em modelos de IA

Olá pessoal, como estão? Vamos iniciar nossa Aula 1, onde vamos compreender o que é explicabilidade e sua importância no contexto de IA.

Vamos imaginar 2 cenários.

1º Cenário: Maria é correntista de um banco chamado MariBank e deseja faezr um empréstimo, para isso faz uma solicitação via aplicativo. O MariBank utiliza uma ferramenta de IA para aprovar ou recusar o empréstimo. Maria teve seu empréstimo aprovado, mas João que também é correntista do mesmo banco, fez a mesma solicitação, mas teve seu pedido negado.

A ferramenta só aprova e nega empréstimos e não imprime nenhuma explicação da tomada de decisão, não traz clareza aos seus resultados.

2º Cenário: Um oftamologista utiliza uma ferramenta de IA como apoio para o diagnóstico de doenças, em especial, retinopatia diabética. O médico realiza o exame, envia resultado para a ferramenta e ela devolve com a porcentagem de chance do paciente possuir retinopatia diabética.

Assim como o cenário 1, a ferramenta não explica o porque chegou a decisão, não indica quais áreas do exame foram mais importantes, para chegada daquele resultado específico. Isso pode levar a falta de confiabilidade, riscos éticos e legais.

Como o modelo chegou a essa decisão. Já em um modelo explicável, além de termos o resultado, também teremos uma explicação sobre quais critérios foram considerados para chegar a essa decisão. Isso nos permite entender melhor o funcionamento do modelo e, consequentemente, confiar mais em suas decisões.

Explorando a necessidade de explicabilidade em diferentes contextos

Chegamos ao ponto central: Muitos modelos, principalmente de Deep Learning, são considerados caixas-pretas. Chegam a um determinado resultado de previsão, mas não existe uma explicação que traz clareza aos resultados. Em cenários de segurança, saúde e etc, como confiar uma IA que não está claro as motivações de suas decisões?

A explicabilidade é, portanto, fundamental para garantir a confiança e a segurança nas decisões tomadas por modelos de inteligência artificial. Ela nos ajuda a entender o que está acontecendo dentro dessas "caixas pretas" e a tomar decisões mais informadas e responsáveis. Além disso, a explicabilidade pode ajudar a mitigar riscos éticos e legais associados ao uso de inteligência artificial em áreas sensíveis, como finanças e saúde.

Em resumo, a explicabilidade é um componente essencial para o uso responsável e eficaz da inteligência artificial. Ao longo deste curso, vamos explorar diferentes técnicas e ferramentas de explicabilidade, entender como elas funcionam e como podem ser aplicadas em diferentes contextos para melhorar a transparência e a confiança nos modelos de IA.

Comparando modelos explicáveis e não explicáveis

Vamos considerar um cenário em que são aplicadas técnicas de explicabilidade. Temos um modelo que passou por treinamento, aprendizado e produção, e que, ao receber novos dados, consegue determinar se um empréstimo é aprovado ou negado. Quando utilizamos ferramentas de explicabilidade, dizemos que esse modelo é explicável.

Por exemplo, se o empréstimo de João fosse negado por um modelo explicável, ele indicaria quais características foram mais importantes para essa decisão. Poderia apontar que cartões de crédito atrasados ou o nome no SPC foram fatores determinantes para a negação do empréstimo. Assim, não se trata apenas de apresentar a decisão, mas de trazer clareza sobre os motivos. Isso traria mais transparência e confiança para os clientes do banco.

No cenário da saúde, se há 95% de chances de retinopatia diabética, o modelo pode fornecer um mapa de calor sobre o exame, indicando quais áreas foram importantes para essa decisão. Isso traz mais segurança para o oftalmologista, que pode validar a decisão tomada pela inteligência artificial.

Essa é a diferença entre um modelo explicável, que utiliza técnicas de explicabilidade, e um modelo que não as utiliza. Existem várias técnicas, e vamos conhecer duas delas durante este curso. Essas técnicas podem ser classificadas de diferentes maneiras.

Classificando técnicas de explicabilidade

Primeiro, quanto ao momento da explicação. Existem modelos interpretáveis por si só, como a regressão linear, onde a explicação é intrínseca ao modelo. Já redes neurais necessitam de técnicas após o processo de predição, conhecidas como técnicas pós-hoc. Vamos explorar a SHAP e a LIME, que são técnicas pós-hoc.

Quanto ao alcance da explicação, ela pode ser local, para uma amostra específica, ou global, refletindo o comportamento geral do modelo. A explicação local, por exemplo, pode indicar que o empréstimo de João foi negado por critérios específicos, enquanto a explicação global mostra quais variáveis são importantes no processo de predição.

Quanto ao acesso ao modelo, algumas técnicas são agnósticas, como a SHAP, podendo ser aplicadas em redes neurais e modelos de aprendizagem tradicional, como o KNN. Outras são específicas para certos tipos de arquitetura.

Essas classificações podem se entrelaçar, resultando em técnicas que são pós-hoc, globais e específicas, ou pós-hoc, locais e agnósticas. Essas são algumas das principais visões sobre o processo de explicabilidade.

Relacionando explicabilidade com IA responsável

A explicabilidade é crucial para a inteligência artificial (IA) responsável, que é um conjunto de diretrizes para construir IAs de forma transparente, auditável e ética, garantindo equidade e privacidade. A explicabilidade está no coração da IA responsável, pois se preocupa não apenas com a tomada de decisão, mas também com a clareza sobre os motivos por trás dessas decisões. Isso facilita a auditabilidade e a transparência da IA.

Concluindo e introduzindo a próxima aula

Na próxima aula, vamos explorar mais os conceitos de explicabilidade, unindo-os à interpretabilidade. Vamos discutir se a interpretabilidade está relacionada à explicabilidade e conhecer alguns trade-offs (compensações) relacionados ao campo da explicabilidade. Esperamos que tenham gostado e nos vemos na próxima aula. Até lá!

Interpretabilidade e Explicabilidade - Explicabilidade vs Interpretabilidade

Introduzindo o conceito de interpretabilidade

Olá, pessoal! Como estão? Vamos para a nossa segunda aula do curso de explicabilidade, na qual abordaremos o conceito de interpretabilidade, entenderemos como esse conceito se entrelaça com a explicabilidade e também discutiremos alguns trade-offs (compensações) relacionados a esses dois conceitos.

Antes de introduzirmos os conceitos, vamos imaginar um cenário. Suponha que fomos contratados pela Secretaria de Saúde do nosso estado. Nessa secretaria, existe uma ferramenta de inteligência artificial utilizada nas urgências do estado, que prioriza o atendimento de um determinado paciente de acordo com os sintomas e o histórico médico. Quando um paciente dá entrada, com base no histórico médico e nos sintomas atuais, o modelo de machine learning (aprendizado de máquina) indica se o paciente precisa de atendimento urgente ou não.

Explorando cenários de uso de modelos interpretáveis

Vamos considerar um hospital específico, o Hospital Santa Ana. Na urgência do Hospital Santa Ana, um paciente deu entrada com pressão alta, diabetes e histórico de AVC. Após passar pela triagem, a enfermeira registrou os sintomas na ferramenta, que indicou que o paciente não era urgente, portanto, não necessitava de atendimento imediato. No entanto, a equipe médica questionou o resultado, considerando a pressão alta e o histórico de AVC do paciente. Eles procuraram a Secretaria da Saúde para entender como a ferramenta gera esses resultados e qual a garantia de que, se a ferramenta indica que um paciente não é urgente, ele realmente não é.

Aqui surge a necessidade de utilizar técnicas de explicabilidade.

Comparando modelos interpretáveis e não interpretáveis

Vamos imaginar dois cenários específicos, em que cada cenário utiliza um algoritmo diferente. No primeiro cenário, a ferramenta é construída a partir de uma regressão linear. A regressão linear, por sua natureza, é um algoritmo de machine learning simples, fácil de entender e implementar. Ela consegue demonstrar como cada sintoma ou característica do paciente influencia na indicação de urgência. Em outras palavras, a regressão linear é composta por uma função que inclui as variáveis e os pesos que cada variável tem no processo de predição.

Por exemplo, consideremos glicemia, idade e pressão como variáveis. Suponhamos que, para esse modelo específico, a idade tenha peso 0,5, a pressão 0,2 e a glicemia 0,3. Se a ferramenta fosse baseada em regressão linear, a equipe técnica poderia fornecer uma resposta imediata e simples, sem precisar de uma ferramenta adicional, pois a regressão linear é um algoritmo interpretável. Ela traz modelos chamados interpretáveis, ou seja, a clareza da explicação dos resultados é intrínseca à natureza do algoritmo. Por exemplo, a idade pode ter mais peso, e, se o paciente tem cerca de 40 anos, ele pode não ser considerado urgente, mesmo com pressão alta e diabetes, pois pode ter glicemia estabilizada e não ser idoso.

Agora, vamos imaginar um segundo cenário, no qual a ferramenta é construída a partir de uma rede neural. Redes neurais, por sua natureza, são arquiteturas complexas, com várias camadas e variáveis envolvidas. Diferente da regressão linear, que oferece clareza em sua arquitetura, não conseguimos enxergar isso em uma rede neural. A decisão da rede neural pode ser mais precisa que a da regressão linear, mas não é facilmente compreensível. O modelo, por si só, não é explicado ou interpretado. Nesse caso, a equipe técnica precisaria utilizar uma técnica de explicabilidade para esclarecer os resultados da rede neural.

Definindo interpretabilidade e explicabilidade

Com isso, entendemos o que é interpretabilidade e o que seria um modelo interpretável ou não interpretável. Um modelo interpretável é transparente por natureza, como a regressão linear ou uma árvore de decisão com poucos níveis. Já um modelo não interpretável necessita de ferramentas externas para ser compreendido. Interpretabilidade é a capacidade de compreender como o modelo toma suas decisões e é uma característica intrínseca do modelo. Quando não faz parte da natureza do modelo, dizemos que ele não é interpretado. No entanto, isso não significa que ele nunca será explicado, pois existem técnicas de explicabilidade que são utilizadas para explicar modelos não interpretáveis.

Retornando ao nosso cenário, a equipe técnica pode analisar a regressão linear, verificar o peso de cada variável no processo de predição e, com base nisso, fornecer uma resposta. Um modelo de regressão é interpretável e, por ser interpretável, é explicável. Todo modelo interpretável é explicável por natureza, pois já traz essa clareza intrínseca.

Aplicando técnicas de explicabilidade em modelos complexos

Agora, se for uma rede neural, devido à sua complexidade e às várias camadas e variáveis envolvidas, a equipe técnica não consegue fornecer uma resposta simples diretamente. É necessário utilizar uma técnica adicional. Nesse caso, a equipe utiliza o método SHAP, uma técnica que vamos aprender neste curso. Ao aplicar a técnica SHAP no modelo, identifica-se que, para determinado paciente, a glicemia teve um peso maior, a idade ficou em segundo lugar, e a pressão não influenciou positivamente. O paciente, mesmo com diabetes, estava com a glicemia controlada, possivelmente devido ao uso correto de insulina, e não era idoso, o que não o tornou um caso urgente.

Percebe-se a diferença: no caso da regressão linear, não era essencial utilizar uma abordagem adicional de explicabilidade, mas na rede neural, é necessário. Um modelo não interpretável precisa de uma ferramenta para se tornar compreensível. Com uma técnica pós-hoc, conseguimos entender como a rede neural fez a predição, mas não podemos afirmar com exatidão como cada variável foi calculada, devido à complexidade interna da rede neural. Podemos explicá-la, mas não compreendê-la inteiramente, por isso dizemos que ela não é interpretada, mas explicada. Entendendo os conceitos de interpretabilidade e explicabilidade, percebemos que todo modelo interpretável é explicável, mas nem todo modelo explicável será interpretado.

Discutindo os trade-offs na construção de modelos explicáveis

Agora, vamos discutir os trade-offs ao construir um modelo explicável. O primeiro trade-off é entre fidelidade e facilidade de entendimento. Aplicamos abordagens como LIME, SHAP e Grad-CAM. Explicações mais fiéis ao modelo tendem a ser mais complexas, o que pode dificultar a compreensão do usuário. Por exemplo, ao aplicar a técnica SHAP, a glicemia teve uma contribuição de 0,12. A equipe médica entenderia o que significa essa contribuição? Explicações fiéis podem ser difíceis de compreender, mas é importante que não sejam muito generalista, comprometendo o processo de decisão. A equipe técnica não pode simplesmente afirmar que a glicemia foi mais importante sem considerar outros fatores, como a idade. É necessário equilibrar a explicação, para que o usuário compreenda sem distorcer o processo de previsão.

O segundo trade-off é entre transparência e precisão. Modelos mais complexos, como redes neurais com várias camadas, podem aumentar a precisão, mas reduzem a transparência. Ao construir um modelo explicável, é importante considerar que aumentar a complexidade algorítmica reduz a transparência, exigindo uma técnica pós-hoc para torná-lo explicável. Se desejamos um modelo transparente por si só, a complexidade algorítmica e, possivelmente, a precisão diminuirão. É necessário equilibrar transparência e precisão.

O último trade-off é entre velocidade e custo computacional. Explicações pós-hoc tendem a ser computacionalmente intensivas, gerando várias combinações e previsões. Em sistemas que precisam de respostas em tempo real, isso pode não ser ideal. Ao trabalhar com explicações pós-hoc, é crucial entender a necessidade de resposta do sistema e escolher uma técnica que se adeque a essa necessidade. Em um cenário de triagem de urgências, por exemplo, a abordagem de explicabilidade pós-hoc deve ter um tempo de resposta rápido, quase imediato. A equipe técnica deve ajustar a necessidade de resposta do sistema em relação ao custo computacional e tempo de processamento da explicação pós-hoc.

Concluindo e introduzindo a próxima aula

Esses são alguns trade-offs que as equipes técnicas devem considerar ao construir modelos explicáveis, buscando sempre o equilíbrio possível. Na próxima aula, aprenderemos a técnica SHAP, uma técnica de explicabilidade pós-hoc baseada na teoria dos jogos. Vamos explorar a visão teórica e implementar SHAP na prática em um modelo real. Até a próxima aula!

Sobre o curso Explicabilidade em IA: técnicas e práticas para transparência e ética

O curso Explicabilidade em IA: técnicas e práticas para transparência e ética possui 130 minutos de vídeos, em um total de 35 atividades. Gostou? Conheça nossos outros cursos de Machine Learning em Data Science, ou leia nossos artigos de Data Science.

Matricule-se e comece a estudar com a gente hoje! Conheça outros tópicos abordados durante o curso:

• Explicabilidade de IA
• Interpretabilidade e Explicabilidade
• Explicabilidade com SHAP
• Explicabilidade com LIME
• Explicabilidade com SOTA
• Explicabilidade em IA Generativa