"Ética em IA também é engenharia", diz Andressa Freires, da diversiData

Durante muito tempo, ética em IA foi tratada quase como uma discussão paralela ao desenvolvimento técnico. O que precisa mudar para que Responsible AI seja parte da forma como produtos são construídos e não uma revisão feita no final?

Eu acho que a primeira mudança é parar de tratar Responsible AI como uma etapa e começar a tratá-la como requisito de engenharia e produto.

Quando a discussão sobre ética acontece só no final, muitas vezes já é tarde. O dado já foi escolhido, a arquitetura já foi definida, as métricas já foram estabelecidas e, principalmente, várias decisões que carregam valores já foram tomadas. Aí Responsible AI vira quase um checklist de aprovação.

Para mim, ela precisa estar presente desde a definição do problema. Antes de perguntar "qual modelo vamos usar?", precisamos perguntar: esse problema deveria ser resolvido com IA? Quem pode ser prejudicado se errarmos? O que significa erro para diferentes grupos? Quais dados estamos usando e quem está sub-representado neles?

E isso precisa continuar durante todo o ciclo: na escolha e documentação dos dados, na avaliação de representatividade, nas métricas de performance e fairness, nos testes de segurança, em red teaming, observabilidade e monitoramento depois que o sistema entra em produção.

Tem uma frase que resume muito minha visão: ética em IA também é engenharia. Se um sistema funciona muito bem para 90% das pessoas e sistematicamente pior para os outros 10%, isso não é apenas um problema ético. É um problema de qualidade do produto.

E, principalmente com IA generativa e agentes, precisamos sair da lógica de validar somente o modelo e começar a avaliar o sistema inteiro: modelo, contexto, dados, ferramentas às quais ele tem acesso, decisões que pode tomar, mecanismos de fallback e supervisão humana.

Falamos bastante sobre vieses nos dados tradicionais. Com foundation models, dados sintéticos e sistemas cada vez menos transparentes, o problema de representatividade está melhorando ou apenas ficando mais difícil de enxergar?

Eu diria que estamos ganhando capacidade tecnológica, mas o problema de representatividade está ficando mais complexo e, em alguns casos, menos observável.

Em modelos tradicionais, muitas vezes conseguimos investigar o dataset, analisar distribuição das variáveis, comparar performance entre grupos e identificar determinados vieses de maneira relativamente direta.

Em foundation models, a escala muda completamente. Estamos falando de volumes gigantescos de dados, múltiplas fontes, diferentes etapas de treinamento e modelos que depois são adaptados, alinhados, integrados a RAGs, agentes e outros sistemas.

Então existe uma espécie de herança de vieses que fica muito mais difícil de rastrear.

Dados sintéticos são um exemplo interessante. Eles podem ajudar muito quando temos grupos pouco representados ou restrições de privacidade. Mas dado sintético não é automaticamente dado neutro. Se eu gero dados usando um modelo que já aprendeu determinadas distorções, posso simplesmente produzir uma versão sintética dessas mesmas distorções em escala.

Existe ainda uma questão que considero fundamental: quem está na internet que usamos para treinar esses modelos e, principalmente, quem não está? Idiomas, territórios e grupos sociais não possuem a mesma quantidade nem a mesma qualidade de representação digital.

Quando pensamos em português brasileiro, línguas indígenas, contextos periféricos ou realidades do Sul Global, isso fica ainda mais evidente.

Por isso eu acho perigoso associar escala à representatividade. Ter mais dados não significa necessariamente ter mais diversidade. O desafio agora é desenvolver novas formas de auditoria e avaliação que consigam investigar não apenas datasets, mas comportamento do modelo e impacto do sistema em diferentes populações e contextos.

Você trabalha para democratizar a educação em dados e IA por meio da diversiData. Na era da IA generativa, o que uma pessoa precisa realmente aprender para ter autonomia sobre essas tecnologias, em vez de ser apenas usuária delas?

Essa é uma discussão que atravessa muito o meu trabalho na diversiData, porque existe uma diferença enorme entre ter acesso a uma ferramenta de IA e ter autonomia sobre ela.

Hoje qualquer pessoa consegue abrir uma interface e conversar com um modelo. Isso é democratização de acesso. Mas democratização de conhecimento é outra coisa.

Para ter autonomia, a pessoa precisa primeiro entender minimamente como esses sistemas funcionam. Não necessariamente saber implementar um transformer do zero, mas entender o que é um modelo, como ele aprende, de onde vêm os dados, por que ele alucina, o que significa contexto, quais são suas limitações e quais riscos existem.

Depois existe uma camada que considero cada vez mais importante: aprender a construir com IA. Isso envolve prompting, sim, mas vai muito além de prompting. Envolve dados, APIs, Python, avaliação de modelos, RAG, agentes, automações, noções de segurança e capacidade de integrar IA a problemas reais.

E existe uma terceira camada que para mim é indispensável: pensamento crítico.

A pessoa precisa conseguir olhar para uma resposta da IA e perguntar: "por que eu deveria confiar nisso?", "como eu verifico?", "quais dados estou entregando?", "quem construiu essa tecnologia?", "quais interesses existem aqui?" e "o que eu não deveria delegar para esse sistema?".

Na diversiData, eu penso muito em educação como uma forma de redistribuição de poder.

Eu não quero que pessoas historicamente afastadas da tecnologia sejam apenas consumidoras da próxima revolução tecnológica. Quero que elas consigam entender, questionar, construir e decidir com essas tecnologias. Para mim, essa é a diferença entre inclusão digital e autonomia tecnológica.

Diversidade em tecnologia muitas vezes é discutida apenas como uma questão de representatividade. Na prática, como a falta de perspectivas diferentes dentro de uma equipe pode aparecer na própria qualidade de um sistema de IA?

Eu gosto muito dessa pergunta porque diversidade ainda é tratada como se fosse uma discussão exclusivamente de RH, quando ela também é uma discussão de qualidade tecnológica.

Todo sistema de IA é resultado de escolhas humanas. Alguém definiu o problema, selecionou os dados, escolheu as métricas, decidiu quais erros eram aceitáveis e determinou quando aquele sistema estava bom o suficiente para entrar em produção. E as nossas experiências influenciam aquilo que conseguimos enxergar.

Se todas as pessoas construindo um produto possuem experiências muito parecidas, existe uma chance maior de determinados problemas simplesmente não aparecerem durante o desenvolvimento.

Isso pode surgir em coisas aparentemente pequenas, como reconhecimento de diferentes tons de pele, sotaques ou formas de linguagem, e chegar a sistemas de alto impacto, como crédito, contratação, saúde ou segurança.

E existe um ponto técnico importante: uma métrica agregada pode esconder muita coisa. Um modelo pode ter 95% de acurácia global e ainda apresentar uma performance muito pior para determinado grupo.

Se ninguém na equipe pensa em segmentar essa avaliação, o produto pode ser considerado excelente tecnicamente e ainda assim falhar sistematicamente para milhares de pessoas.

Por isso diversidade não substitui metodologia de Responsible AI, mas ela melhora as perguntas que fazemos.

Eu costumo pensar que times diversos aumentam a superfície de detecção de problemas. Pessoas diferentes percebem riscos diferentes, fazem perguntas diferentes e imaginam usos e consequências diferentes.

Então diversidade não é apenas sobre quem ocupa uma cadeira na construção da tecnologia. É também sobre quais perguntas conseguem chegar até a mesa onde a tecnologia está sendo construída.

Existe uma tensão recorrente entre governança e velocidade: empresas temem que regras e avaliações diminuam o ritmo da inovação. Em que situações uma boa governança de IA pode fazer justamente o contrário e permitir inovar mais rápido e com mais confiança?

Eu acho que governança desacelera quando ela aparece como burocracia depois que tudo já foi construído. Quando é desenhada desde o início, ela pode fazer exatamente o contrário.

Imagine uma empresa em que cada time que quer experimentar IA precisa descobrir sozinho quais dados pode utilizar, quais modelos são permitidos, quais avaliações precisa fazer, quais riscos jurídicos existem e quem precisa aprovar aquilo. Isso gera uma quantidade enorme de retrabalho e insegurança.

Agora imagine uma organização que já possui guardrails claros, classificação de risco dos casos de uso, modelos e ferramentas previamente avaliados, padrões de segurança, critérios mínimos de avaliação e caminhos de aprovação proporcionais ao risco.

O desenvolvedor deixa de perguntar "será que eu posso fazer isso?" a cada experimento e passa a saber dentro de quais limites pode inovar.

Para mim, maturidade de governança também significa entender que nem toda aplicação de IA precisa do mesmo nível de controle. Um assistente interno para resumir documentos e um sistema que influencia uma decisão de crédito não deveriam passar exatamente pelo mesmo processo.

Governança baseada em risco permite justamente colocar mais rigor onde o impacto potencial é maior e mais velocidade onde o risco é menor.

E tem uma dimensão econômica nisso também. Corrigir um problema durante a definição ou experimentação é muito mais barato do que descobrir depois que um sistema está em produção, sendo utilizado por milhares ou milhões de pessoas.

Então eu não vejo governança e inovação como forças necessariamente opostas. Boa governança cria infraestrutura para inovar. No fim, Responsible AI não deveria ser o freio do carro. Ela deveria ser parte do que permite que você acelere sabendo que consegue dirigir, observar o caminho e parar quando necessário.

Se você quiser continuar essa conversa ao vivo, Andressa é uma das palestrantes do IA Conference Brasil, o maior evento de IA e tecnologia do país, realizado pela Alura. 

Dia 24 de setembro de 2026, no Frei Caneca, em São Paulo, você tem a chance de se conectar com quem está construindo a próxima era da IA no Brasil. 

A terceira e maior edição do evento vai reunir mais de 1.300 profissionais, +50 conteúdos exclusivos e palcos simultâneos pensados para quem quer sair de lá entendendo o que realmente importa entre tantas novidades que surgem no mercado. 

Ainda dá tempo de garantir seu lugar na maior edição da história do evento. Nos encontramos lá?