Governança no ciclo de vida de IA: monitorando modelos e supervisionando sistemas

Como diferentes sistemas de IA impactam a governança - Apresentação do professor

Introdução ao Curso de Governança no Ciclo de Vida da Inteligência Artificial

Olá! Seja bem-vindo ao curso de Governança no Ciclo de Vida da Inteligência Artificial. Meu nome é Marcos de Freitas Junior.

Audiodescrição: Marcos tem cabelo preto, pele branca, olhos castanhos e barba preta. Ele veste uma camisa preta e está em seu escritório, com as cores da Alura, azul e rosa, ao fundo.

Formação e Experiência Profissional

Sou formado em Análise de Desenvolvimento de Sistemas, fiz mestrado na Universidade de São Paulo em Sistemas de Informação e atuo com tecnologia desde 2010.

Experiência em Governança de Dados e Inteligência Artificial

Atuamos com dados especificamente desde 2017 e com Governança de Inteligência Artificial desde aproximadamente 2020, 2021. Atualmente, somos responsáveis pela equipe de Governança de Dados e Inteligência Artificial em uma grande instituição de saúde em São Paulo.

Expectativas para o Curso

Esperamos que, ao longo do curso, compreendamos os principais conceitos e participemos de discussões, sempre com um viés muito prático do dia a dia. Nos vemos no próximo vídeo.

Como diferentes sistemas de IA impactam a governança - Tipos de aquisição

Explorando as situações na startup fictícia

Olá, neste vídeo exploraremos os tipos de aquisição de inteligência artificial e como cada um deles pode impactar o modelo de governança. Imaginemos que trabalhamos em uma organização fictícia, uma startup que desenvolve um aplicativo de música. Nessa startup, foram identificadas duas situações que poderiam ser resolvidas com um sistema de IA.

A primeira situação é que os colaboradores passavam muito tempo em reuniões. Imaginou-se que um sistema que fizesse a transcrição dessas reuniões, gerasse resumos e atas com as principais decisões poderia ajudar a resolver esse problema. Por outro lado, identificou-se que os usuários desse aplicativo, quando recebiam uma recomendação de conteúdo seguinte, seja música ou podcast, raramente se engajavam em comparação com a busca orgânica. Eles passavam menos tempo ou aceitavam menos as sugestões desse algoritmo. Assim, para manter esses usuários engajados, considerou-se a possibilidade de substituir totalmente esse algoritmo de recomendação de conteúdo seguinte para melhorar o produto.

Decidindo entre desenvolver ou adquirir sistemas de IA

Diante dessas duas situações, surge uma oportunidade para este ano. A questão que fica é: devemos desenvolver ambos os sistemas ou adquiri-los no mercado? Essa é uma decisão que deve ser tomada em conjunto com o corpo diretivo.

Se decidirmos desenvolver ambos os sistemas, primeiro precisaremos dispor de uma equipe e de recursos de infraestrutura, como bases de dados ou serviços em nuvem, para possibilitar que o desenvolvimento seja realizado com sucesso. Por outro lado, teremos um maior risco de execução, pois precisaremos atuar desde o design da solução, passando pelo desenvolvimento, implantação e monitoramento contínuo para garantir que a solução continue operando conforme os requisitos iniciais. Se conseguirmos fazer tudo isso, será vantajoso, pois teremos o controle total do sistema e a propriedade intelectual, o que pode proporcionar um diferencial em relação ao mercado, já que apenas nossa organização, essa startup fictícia, teria esses algoritmos e sistemas de inteligência artificial, oferecendo uma vantagem competitiva.

Vantagens e desvantagens de adquirir soluções de IA

Se decidirmos adquirir essa solução do mercado, conseguiremos resolver os problemas mais rapidamente. O tempo, que chamamos de time to market (tempo para o mercado), entre identificar o problema e resolvê-lo, será menor se optarmos por adquirir. Nossos custos e riscos também serão menores, pois atuaremos apenas na fase de implantação. Claro, teremos os custos do software que estamos comprando, do sistema, das licenças, mas não precisaremos realizar todo o desenvolvimento. Receberemos atualizações contínuas, mas ficaremos dependentes desse fornecedor, o que pode ser uma desvantagem se quisermos sair dessa situação no futuro.

Considerando a estratégia e o impacto na governança

O que fazer nesse caso? No final, isso se torna uma decisão importante, uma decisão estratégica. Se precisarmos de algo mais rápido para resolver o problema, se tivermos uma necessidade de maior time to market, é melhor adquirir essa solução. Se nossa organização opera em um mercado que exige soberania sobre seus dados ou maior controle, como o financeiro ou o de saúde, é melhor desenvolver. Mas a grande questão, e o coração dessa decisão, está nos requisitos específicos ou no core (núcleo) do negócio. Faz sentido desenvolver tudo ou apenas o que é o core do negócio e que, portanto, pode oferecer uma vantagem competitiva em relação aos concorrentes?

Essa é uma decisão importante. Portanto, se trabalhamos em uma startup que desenvolve um aplicativo de música, talvez seja mais recomendável, pensando nesse aspecto, desenvolver a solução que melhorará o algoritmo de recomendações de conteúdo seguinte para atrair mais usuários, em vez de algo mais marginal ao negócio, como a transcrição das reuniões, embora o importante seja o core. E, claro, nada disso faz sentido se não tivermos uma preparação técnica, ou seja, pessoas em nossa organização que possam realizar todas as etapas com sucesso.

Avaliando os impactos na governança da IA

No final, nem sempre há uma resposta correta ou padrão que sirva para todos os casos. Muitas vezes, até mesmo combinamos soluções. Podemos tentar comprar para errar rapidamente e depois melhorar, ou podemos decidir desde o início desenvolver ou comprar. Agora, a grande questão, nesse caso, e a pergunta que devemos nos fazer é: por que isso importa para a governança da inteligência artificial? Comprar ou adquirir trará alguns impactos que precisarão ser repensados ao longo do processo de governança. Se decidirmos desenvolver a solução ou adquiri-la, teremos maior ou menor controle sobre a transparência desse sistema.

Se estamos adquirindo de um fornecedor, provavelmente não teremos à disposição todas as informações sobre com quais dados o sistema foi testado, se esses dados foram representativos para o propósito que pretendemos usar, quais foram os algoritmos e qual foi o desempenho desses algoritmos. Teremos menos informações, inclusive por uma questão de propriedade intelectual do fornecedor. Teremos menor controle sobre o viés, pois pode ser que o sistema tenha sido testado com um conjunto de dados que funcionam para o problema específico que foi testado.

Considerando a responsabilidade e a privacidade

É muito comum, por exemplo, termos sistemas que identificam muito bem o melanoma, que é um tipo de câncer, na pele de uma determinada população predominantemente branca. No entanto, esse algoritmo pode não ter um bom desempenho em uma população predominantemente negra. Portanto, se essa solução, que tem um desempenho excelente para a população branca, for utilizada em uma população que não possui essas características, ela não funcionará adequadamente. Assim, os vieses, nesse caso, serão mais difíceis de controlar. Quanto mais pessoas e empresas incorporarmos nessa cadeia, mais difusa se torna a responsabilização.

Se desenvolvemos, parece óbvio que a responsabilidade por qualquer dano que o sistema possa causar é nossa. Agora, se contratamos um fornecedor, que eventualmente subcontrata outro fornecedor, de quem é a responsabilidade em caso de danos? As coisas começam a se tornar mais difusas e precisam de mecanismos muito bem definidos no contrato. A privacidade também é relevante, pois, muitas vezes, os dados podem transitar por várias regiões ou países, já que o fornecedor pode estar usando uma nuvem nos Estados Unidos ou em qualquer outra região. Saber por onde os dados vão transitar é importante, pois, talvez, nesses países, não existam leis de proteção de dados como esperamos, talvez análogas à LGPD ou GDPR.

Implementando mecanismos de governança e validação

Todos esses elementos, dependendo da adoção ou do desenvolvimento, serão impactados. O grande ponto é que existirão paralelos, comparando ambos os casos, haverá passos em comum para ambos os cenários, seja desenvolvendo ou adquirindo. É essencial que possamos determinar o risco dessa solução para decidir quando faz sentido flexibilizar e não criar muitas regras, e quando não flexibilizar, pois o dano pode ser alto.

No caso de aquisição de uma ferramenta de um fornecedor, se trabalhamos em uma organização que basicamente adquire soluções do mercado, será mais comum precisarmos exercitar mais em nosso modelo de governança mecanismos de due diligence (diligência prévia), que é uma investigação profunda do fornecedor para entender quais controles ele possui, se está preparado para lidar com incidentes, se já teve algum incidente. Precisaremos entender, inclusive, quais são os mecanismos de governança que esse fornecedor possui, pois nosso risco é maior nesse caso.

Garantindo a responsabilidade e a qualidade dos dados

Precisamos trabalhar muito bem e de perto com a equipe de contratos para garantir que existe uma atribuição de responsabilidades ao longo do ciclo de vida do sistema de IA. Em caso de dano, quem é o culpado? Isso muitas vezes deve estar especificado no contrato, e em muitos contratos, ao revisar, identificaremos que são impostas responsabilidades muito gravosas para quem adquire, que são desproporcionais. Essa visão técnica de governança em conjunto com a equipe jurídica será essencial nesse cenário.

Precisaremos sempre fazer a validação externa e a validação local. A validação externa é, na verdade, a busca de evidências do desempenho desse sistema com o fornecedor, mas muitas vezes o fornecedor desenvolveu esse sistema de IA em condições que não necessariamente coincidem com as que buscamos utilizar. Por isso, é importante que façamos uma validação local, ou que instruamos as pessoas para fazer uma validação local, ou que tenhamos um processo que o garanta.

Concluindo sobre a aquisição e governança de IA

Por outro lado, se formos desenvolver esse sistema de IA, teremos mais controle sobre esses aspectos, mas, por sua vez, precisaremos garantir processos em nossa governança que assegurem o ciclo de vida de todo o modelo, o que veremos detalhadamente na aula 2, e mecanismos que garantam a qualidade e a representatividade dos dados e do desenvolvimento em si, além de mecanismos para monitorar se o sistema perdeu desempenho ao longo do tempo, e, claro, uma equipe técnica capacitada para desenvolver. Em ambos os casos, é sempre importante pensar na contingência.

Portanto, a forma de aquisição impacta nosso modelo de governança, pois comprar não significa transferir a responsabilidade. A responsabilidade de um sistema de IA, sobretudo quando nossa organização o coloca nas mãos do usuário, é sempre nossa, e, dependendo da forma de produção, precisaremos trabalhar em mecanismos diferentes. Isso é tudo, esperamos que tenha ficado claro, e nos vemos no próximo vídeo.

Como diferentes sistemas de IA impactam a governança - Anatomia do sistema

Explorando o conceito de sistema de IA

Neste vídeo, vamos explorar o conceito de sistema de IA, entender o que compõe esse sistema, quem são os atores que interagem com ele ao longo do ciclo de vida e as principais responsabilidades desses atores.

Primeiramente, é importante delimitar a diferença entre um modelo e um sistema de IA. Podemos pensar no modelo de IA como o motor de um carro. É uma peça fundamental que fornece potência e tração, mas, sozinho, não consegue oferecer uma boa experiência ao usuário. O usuário precisa de um assento confortável, interfaces que permitam acelerar e frear, e um volante para conduzir o veículo. Assim, é necessário um conjunto de componentes para que o carro seja útil.

Comparando modelos e sistemas de IA

De modo análogo, na inteligência artificial, o modelo é uma peça importante, o motor do sistema. O modelo é uma representação matemática que será treinada com um conjunto de dados, muitas vezes de grande volume, para capturar padrões ocultos. Isso permite fazer inferências e previsões. Assim como no motor, onde podemos ajustar um parafuso, no modelo temos os hiperparâmetros, que são muitos e permitem, dependendo do modelo, obter o resultado mais adequado para diminuir o erro associado à saída, aumentando a precisão.

O modelo, na verdade, é um arquivo estático. Alguém precisa treiná-lo para que aprenda o padrão e continue reproduzindo-o até que deixe de fazer sentido ou comece a falhar, pois o mundo real mudou. Nesse momento, alguém deve identificar a situação e re-treinar o modelo. Esse processo não é dinâmico.

Descrevendo a infraestrutura e componentes do sistema de IA

Por outro lado, o sistema é projetado para operar com diferentes níveis de autonomia e gerar saídas para objetivos definidos por humanos. O sistema é mais amplo e influencia o mundo real, geralmente composto por vários componentes. Fazendo a analogia, no sistema de IA, temos o modelo, o motor, e precisamos de combustível, que são nossos dados. Deve haver uma canalização de processamento que colete e limpe os dados para que entrem no modelo de IA no formato adequado.

Para que o sistema exista, é necessária uma infraestrutura que o sustente, seja de bancos de dados, máquinas para executar o modelo, recursos na nuvem, etc. Também precisamos de camadas de integração para enviar e receber dados, além de camadas de segurança e controle para garantir que o sistema de IA seja resistente a ataques ou acessos não autorizados. Assim como em um automóvel, precisamos de um painel que indique quando o sistema está com problemas ou sem combustível.

Identificando os atores e suas responsabilidades

Cada um desses componentes terá um ator responsável. O cientista de dados será responsável por criar ou selecionar o melhor modelo de IA para a finalidade desejada. A partir de um conjunto de dados e uma hipótese, ele realizará experimentos para entender a viabilidade do uso desses modelos. Treinará o modelo e avaliará seu desempenho técnico. Junto com engenheiros e analistas, definirá e preparará os dados para que entrem adequadamente no modelo, realizando o que chamamos de Feature Engineering (Engenharia de Atributos), que envolve limpar os dados e criar novas variáveis de forma concisa para que tudo funcione bem.

Em governança, podemos entender como a primeira linha de defesa, pois é a pessoa cientista que, nessa primeira experimentação, entenderá se existe algum viés, se o modelo tem um bom desempenho, não apenas de forma global, mas também se apresenta um bom desempenho para pessoas de diferentes gêneros, etnias ou para populações vulneráveis. Assim, é nossa primeira linha de defesa. E, claro, também planejará os mecanismos de explicabilidade. Nem sempre é fácil explicar como o modelo chegou a uma determinada decisão. Portanto, fazer essa tradução do mundo técnico para o usuário final também é um papel importante da pessoa cientista. Assim, também planejará os mecanismos de explicabilidade.

Detalhando o papel dos engenheiros de MLOps e segurança da informação

Por sua vez, a pessoa engenheira de MLOps é quem poderá pegar esse modelo e escalá-lo para um sistema, ou dar maior escala à operação. Será responsável por garantir que existam pipelines (fluxos) para versionar os dados, versionar os modelos e até identificar a degradação do modelo caso ele deixe de ter um bom desempenho. Tudo isso chamamos de pipelines, CI/CD (Continuous Integration/Continuous Deployment, ou Integração Contínua/Entrega Contínua). E ajudará a operacionalizar os processos, e até mesmo os mecanismos de controle que sejam definidos pela governança.

A equipe de segurança da informação garantirá a segurança do modelo. A equipe de segurança da informação será responsável por assegurar que o sistema seja seguro, ou seja, que esteja protegido contra ataques indevidos, detectando vulnerabilidades no modelo, nas bibliotecas utilizadas ou no sistema como um todo. É a equipe de SI, que aqui chamamos de Red Team em determinados contextos, que colaborará no design e na implementação desses controles, e muitas vezes realizará testes adversariais para verificar se o modelo é robusto e está bem protegido.

Explicando a importância dos usuários e da governança de IA

Não sei se já viram sistemas de inteligência artificial que, a partir de uma imagem, os chamados de visão computacional, podem identificar se essa imagem é de um cachorro ou de um gato. Bem, dependendo da entrada, esse modelo pode ser manipulado para entregar outra resposta. Muitas vezes, é possível alterar o contraste da imagem, incluir alguma perturbação ou ruído, para que o sistema diga, por exemplo, que essa imagem é de um gato, quando, em condições normais, diria que é de um cachorro. Claro, essas manipulações têm a intenção de atacar e gerar resultados inadequados, mas é a equipe de segurança que entenderá e até ajudará a pessoa cientista e todos os envolvidos a saber como evitá-lo e a avaliar quão robustos estão os mecanismos.

Por último, os usuários terão um papel central, e muitas vezes, esquecido. Claro, interagem com todo o sistema de inteligência artificial, mas fornecem feedback para a melhoria do sistema, e isso é algo muito relevante. Esses usuários também, e não todos, mas alguns, terão um papel ainda mais específico, que é supervisionar os resultados antes que produzam um efeito. Isso deve estar definido em seu processo. Assim como quando compramos um carro, temos um manual que nos informa que não podemos colocar água, mas sim etanol ou gasolina, esse é um informe que zelará pelo uso correto do sistema de IA. Assim, garantirá que o sistema seja utilizado conforme foi projetado, ou com a finalidade para a qual foi projetado, e da maneira correta.

Concluindo com a importância da liderança em governança de IA

E é a pessoa líder de governança de IA, uma função emergente, com várias denominações, que fará a ponte entre a necessidade de inovar e a necessidade de ser responsável e estabelecer mais controles. Assim, será quem estruturará uma matriz de responsabilidades, por exemplo, que definirá quem é responsável por quê, pensará em processos que garantam que existam esses mecanismos ao longo do ciclo de vida, ou da aquisição de uma inteligência artificial. Será quem fará marcos de risco, ou estruturará o risco, para não aplicar as mesmas regras a todos os contextos, pois a inteligência artificial é muito ampla, e às vezes faz sentido ser mais rigoroso ou menos, e será quem ajudará a pensar nos comitês de inteligência artificial, e a garantir que tudo esteja em harmonia.

Ao final, para que possamos responder, em caso de erro, quem é o responsável, precisamos entender os atores, e qual é o papel de cada ator ao longo do ciclo de vida, para que, claro, possamos garantir uma prestação de contas durante todo o processo. O importante que devemos entender é que, quando falamos de governança de inteligência artificial, não falamos do modelo, falamos do sistema de IA em seu conjunto.

Espero que tenha ficado claro, e nos vemos no próximo vídeo.

Sobre o curso Governança no ciclo de vida de IA: monitorando modelos e supervisionando sistemas

O curso Governança no ciclo de vida de IA: monitorando modelos e supervisionando sistemas possui 214 minutos de vídeos, em um total de 48 atividades. Gostou? Conheça nossos outros cursos de IA para Negócios em Inteligência Artificial, ou leia nossos artigos de Inteligência Artificial.

Matricule-se e comece a estudar com a gente hoje! Conheça outros tópicos abordados durante o curso:

• Neste curso, você vai aprofundar a aplicação da governança em sistemas de Inteligência Artificial ao longo de todo o seu ciclo de vida, desde o planejamento até a operação em produção.