Introduzindo o conceito de interpretabilidade
Olá, pessoal! Como estão? Vamos para a nossa segunda aula do curso de explicabilidade, na qual abordaremos o conceito de interpretabilidade, entenderemos como esse conceito se entrelaça com a explicabilidade e também discutiremos alguns trade-offs (compensações) relacionados a esses dois conceitos.
Antes de introduzirmos os conceitos, vamos imaginar um cenário. Suponha que fomos contratados pela Secretaria de Saúde do nosso estado. Nessa secretaria, existe uma ferramenta de inteligência artificial utilizada nas urgências do estado, que prioriza o atendimento de um determinado paciente de acordo com os sintomas e o histórico médico. Quando um paciente dá entrada, com base no histórico médico e nos sintomas atuais, o modelo de machine learning (aprendizado de máquina) indica se o paciente precisa de atendimento urgente ou não.
Explorando cenários de uso de modelos interpretáveis
Vamos considerar um hospital específico, o Hospital Santa Ana. Na urgência do Hospital Santa Ana, um paciente deu entrada com pressão alta, diabetes e histórico de AVC. Após passar pela triagem, a enfermeira registrou os sintomas na ferramenta, que indicou que o paciente não era urgente, portanto, não necessitava de atendimento imediato. No entanto, a equipe médica questionou o resultado, considerando a pressão alta e o histórico de AVC do paciente. Eles procuraram a Secretaria da Saúde para entender como a ferramenta gera esses resultados e qual a garantia de que, se a ferramenta indica que um paciente não é urgente, ele realmente não é.
Aqui surge a necessidade de utilizar técnicas de explicabilidade.
Comparando modelos interpretáveis e não interpretáveis
Vamos imaginar dois cenários específicos, em que cada cenário utiliza um algoritmo diferente. No primeiro cenário, a ferramenta é construída a partir de uma regressão linear. A regressão linear, por sua natureza, é um algoritmo de machine learning simples, fácil de entender e implementar. Ela consegue demonstrar como cada sintoma ou característica do paciente influencia na indicação de urgência. Em outras palavras, a regressão linear é composta por uma função que inclui as variáveis e os pesos que cada variável tem no processo de predição.
Por exemplo, consideremos glicemia, idade e pressão como variáveis. Suponhamos que, para esse modelo específico, a idade tenha peso 0,5, a pressão 0,2 e a glicemia 0,3. Se a ferramenta fosse baseada em regressão linear, a equipe técnica poderia fornecer uma resposta imediata e simples, sem precisar de uma ferramenta adicional, pois a regressão linear é um algoritmo interpretável. Ela traz modelos chamados interpretáveis, ou seja, a clareza da explicação dos resultados é intrínseca à natureza do algoritmo. Por exemplo, a idade pode ter mais peso, e, se o paciente tem cerca de 40 anos, ele pode não ser considerado urgente, mesmo com pressão alta e diabetes, pois pode ter glicemia estabilizada e não ser idoso.
Agora, vamos imaginar um segundo cenário, no qual a ferramenta é construída a partir de uma rede neural. Redes neurais, por sua natureza, são arquiteturas complexas, com várias camadas e variáveis envolvidas. Diferente da regressão linear, que oferece clareza em sua arquitetura, não conseguimos enxergar isso em uma rede neural. A decisão da rede neural pode ser mais precisa que a da regressão linear, mas não é facilmente compreensível. O modelo, por si só, não é explicado ou interpretado. Nesse caso, a equipe técnica precisaria utilizar uma técnica de explicabilidade para esclarecer os resultados da rede neural.
Definindo interpretabilidade e explicabilidade
Com isso, entendemos o que é interpretabilidade e o que seria um modelo interpretável ou não interpretável. Um modelo interpretável é transparente por natureza, como a regressão linear ou uma árvore de decisão com poucos níveis. Já um modelo não interpretável necessita de ferramentas externas para ser compreendido. Interpretabilidade é a capacidade de compreender como o modelo toma suas decisões e é uma característica intrínseca do modelo. Quando não faz parte da natureza do modelo, dizemos que ele não é interpretado. No entanto, isso não significa que ele nunca será explicado, pois existem técnicas de explicabilidade que são utilizadas para explicar modelos não interpretáveis.
Retornando ao nosso cenário, a equipe técnica pode analisar a regressão linear, verificar o peso de cada variável no processo de predição e, com base nisso, fornecer uma resposta. Um modelo de regressão é interpretável e, por ser interpretável, é explicável. Todo modelo interpretável é explicável por natureza, pois já traz essa clareza intrínseca.
Aplicando técnicas de explicabilidade em modelos complexos
Agora, se for uma rede neural, devido à sua complexidade e às várias camadas e variáveis envolvidas, a equipe técnica não consegue fornecer uma resposta simples diretamente. É necessário utilizar uma técnica adicional. Nesse caso, a equipe utiliza o método SHAP, uma técnica que vamos aprender neste curso. Ao aplicar a técnica SHAP no modelo, identifica-se que, para determinado paciente, a glicemia teve um peso maior, a idade ficou em segundo lugar, e a pressão não influenciou positivamente. O paciente, mesmo com diabetes, estava com a glicemia controlada, possivelmente devido ao uso correto de insulina, e não era idoso, o que não o tornou um caso urgente.
Percebe-se a diferença: no caso da regressão linear, não era essencial utilizar uma abordagem adicional de explicabilidade, mas na rede neural, é necessário. Um modelo não interpretável precisa de uma ferramenta para se tornar compreensível. Com uma técnica pós-hoc, conseguimos entender como a rede neural fez a predição, mas não podemos afirmar com exatidão como cada variável foi calculada, devido à complexidade interna da rede neural. Podemos explicá-la, mas não compreendê-la inteiramente, por isso dizemos que ela não é interpretada, mas explicada. Entendendo os conceitos de interpretabilidade e explicabilidade, percebemos que todo modelo interpretável é explicável, mas nem todo modelo explicável será interpretado.
Discutindo os trade-offs na construção de modelos explicáveis
Agora, vamos discutir os trade-offs ao construir um modelo explicável. O primeiro trade-off é entre fidelidade e facilidade de entendimento. Aplicamos abordagens como LIME, SHAP e Grad-CAM. Explicações mais fiéis ao modelo tendem a ser mais complexas, o que pode dificultar a compreensão do usuário. Por exemplo, ao aplicar a técnica SHAP, a glicemia teve uma contribuição de 0,12. A equipe médica entenderia o que significa essa contribuição? Explicações fiéis podem ser difíceis de compreender, mas é importante que não sejam muito generalista, comprometendo o processo de decisão. A equipe técnica não pode simplesmente afirmar que a glicemia foi mais importante sem considerar outros fatores, como a idade. É necessário equilibrar a explicação, para que o usuário compreenda sem distorcer o processo de previsão.
O segundo trade-off é entre transparência e precisão. Modelos mais complexos, como redes neurais com várias camadas, podem aumentar a precisão, mas reduzem a transparência. Ao construir um modelo explicável, é importante considerar que aumentar a complexidade algorítmica reduz a transparência, exigindo uma técnica pós-hoc para torná-lo explicável. Se desejamos um modelo transparente por si só, a complexidade algorítmica e, possivelmente, a precisão diminuirão. É necessário equilibrar transparência e precisão.
O último trade-off é entre velocidade e custo computacional. Explicações pós-hoc tendem a ser computacionalmente intensivas, gerando várias combinações e previsões. Em sistemas que precisam de respostas em tempo real, isso pode não ser ideal. Ao trabalhar com explicações pós-hoc, é crucial entender a necessidade de resposta do sistema e escolher uma técnica que se adeque a essa necessidade. Em um cenário de triagem de urgências, por exemplo, a abordagem de explicabilidade pós-hoc deve ter um tempo de resposta rápido, quase imediato. A equipe técnica deve ajustar a necessidade de resposta do sistema em relação ao custo computacional e tempo de processamento da explicação pós-hoc.
Concluindo e introduzindo a próxima aula
Esses são alguns trade-offs que as equipes técnicas devem considerar ao construir modelos explicáveis, buscando sempre o equilíbrio possível. Na próxima aula, aprenderemos a técnica SHAP, uma técnica de explicabilidade pós-hoc baseada na teoria dos jogos. Vamos explorar a visão teórica e implementar SHAP na prática em um modelo real. Até a próxima aula!