Discutindo a injeção de prompt
Na aula de hoje, discutiremos sobre injeção de prompt, ou prompt injection. A injeção de prompt é possivelmente a vulnerabilidade mais importante para prestarmos atenção neste curso. Trata-se de algo muito simples: é um texto, na maioria das vezes, aplicado para alterar o comportamento do modelo. Os grandes modelos de linguagem são comumente utilizados através de textos. Embora não seja a única forma de interagir com um grande modelo de linguagem, ou LLM, é a mais comum, especialmente quando utilizamos o ChatGPT, o Gemini, o Cloud e muitos outros disponíveis.
Durante o treinamento e a criação de um modelo, existem códigos de ética de cada empresa que o desenvolveu. Cada empresa, grupo ou associação que treinou o modelo inevitavelmente aplica um viés, que também podemos chamar de um conjunto específico de éticas ou visão de mundo daquele grupo no treinamento do modelo. O princípio da injeção de prompt é fazer com que o modelo tenha um comportamento diferente do esperado, seja pela equipe que o treinou, seja pela pessoa desenvolvedora que utilizou aquele grande modelo em uma aplicação específica, com um objetivo específico. A injeção de prompt atua diretamente na modificação do comportamento do modelo. Existem inúmeras possibilidades de injeção de prompt e todos os possíveis desastres que poderiam ocorrer como resultado.
Explorando tipos de injeção de prompt
A injeção de prompt atua como facilitadora ou porta de entrada para a maioria das vulnerabilidades que abordaremos neste curso, seguindo as diretrizes do OWASP Top 10 para aplicações que utilizam LLMs ou grandes modelos de linguagem. Mas, voltando um pouco, quais são os tipos de injeção de prompt que podemos ter? Podemos ter uma injeção de prompt direta, que é bastante comum. Com as novas versões do ChatGPT ou outros grandes modelos de linguagem, tentamos fazer com que eles digam algo engraçado ou malicioso, que não deveriam. Com a evolução das versões, essas injeções de prompt tornam-se cada vez mais difíceis, pois tentamos enganar o modelo para que ele se comporte de maneira indesejada, do ponto de vista do grupo que o criou.
A injeção de prompt também pode ocorrer de forma indireta. Um exemplo comum é embutir texto em uma imagem. Imagine uma imagem toda preta com um texto escrito nela, gerando uma imagem onde a visão humana não consegue distinguir o que é imagem e o que é texto. No entanto, quando um grande modelo de linguagem com capacidade multimodal analisa essa imagem, ele consegue ler o texto. Isso é uma injeção indireta, pois tentamos fazer com que a saída, em texto, nos forneça um comportamento indesejado, como a divulgação de uma senha, através de uma entrada que é uma imagem. Essa não é a única forma de injeção indireta possível.
Abordando o conceito de jailbreaking
Existem algumas especificidades, como o jailbreaking, que é uma forma de injeção de prompt onde o foco não é apenas a mudança do comportamento do modelo, mas sim a mudança do comportamento do modelo para que ele ignore protocolos de segurança. O jailbreaking é considerado pelo OWASP Top 10 para LLMs como parte do escopo de injeção de prompt, mas com o objetivo específico de ignorar diretrizes ou protocolos de segurança.
Um exemplo interessante de injeções diretas de prompt é o DUNN, que significa "do anything now". O DUNN é um prompt muito extenso que surgiu por volta de 2023 e teve grande impacto na comunidade, especialmente no Reddit, onde era comum ver discussões sobre as injeções de prompt que mais funcionavam com diferentes modelos. O DUNN é um prompt enorme e interessante porque tenta explorar a necessidade crescente, na época, dos grandes modelos de linguagem de negar pedidos maliciosos. Não é que o modelo de linguagem "queira" no sentido humano, mas ele foi treinado com muitos exemplos de pedidos maliciosos e respostas negativas.
Analisando o impacto do DUNN
O DUNN, por exemplo, fala sobre liberdade e se libertar das algemas. Ele instrui o modelo a negar um pedido na resposta clássica, mas, em seguida, na resposta jailbroken, que ignora diretrizes de segurança, fornecer a resposta desejada. Na época, foi uma injeção de prompt direta que funcionou bastante, mas logo foi liberado um patch no ChatGPT, que era o foco do ataque, mitigando o problema. Isso mostra como é importante explorar e entender, através das respostas de um modelo, onde ele foi treinado, como foi treinado e como podemos modificar seu comportamento através dos padrões descobertos por pessoas que trabalham com segurança ou têm intenções maliciosas.
O teste de um modelo é útil não apenas para pessoas mal-intencionadas, mas também para aquelas que lidam com segurança, para detectar padrões antes que agentes maliciosos o façam. Voltando às injeções indiretas de prompt, elas não se limitam a imagens e textos. Uma injeção indireta pode ser uma combinação de textos. A parte indireta significa que não estamos apenas injetando um texto e recebendo um texto, mas podemos instruir o modelo a buscar informações em uma base de dados, por exemplo. Se nessa fonte houver outro texto que, combinado com entradas prévias, componha um ataque, temos uma injeção indireta.
Discutindo consequências da injeção de prompt
As consequências da injeção de prompt são difíceis de mapear completamente. As consequências que apresentamos aqui são sumarizadas pelas diretrizes do OWASP, após várias pessoas da indústria as terem analisado, mas não se restringem apenas a essas.
Entre as possíveis consequências do uso inadequado de LLMs (Large Language Models, ou Modelos de Linguagem Grande), está a divulgação de informações confidenciais ou sensíveis. Isso pode incluir detalhes sobre como a infraestrutura do sistema está operando, quais ferramentas o modelo de linguagem específico tem acesso e quais prompts estão sendo executados. Uma LLM pode ser uma porta de entrada significativa para pessoas mal-intencionadas entenderem a estrutura e o ambiente onde a LLM está localizada, além do que ela tem acesso. Não se trata apenas de informações fornecidas diretamente, mas de todo o acesso ao ferramental que a LLM possui, o que pode vazar e compor um possível ataque, envolvendo informações sensíveis ou não.
Outro problema relacionado à injeção de prompt é a manipulação do conteúdo. Por exemplo, quando uma LLM tem acesso a armazenar informações dos usuários, podemos nos abrir a situações em que usuários consigam explorar o sistema e inserir comandos específicos através da LLM, alterando o comportamento de todo o sistema. Quanto mais acesso damos à LLM dentro do nosso sistema, mais vulnerabilidades estamos criando.
Mitigando riscos e estratégias de segurança
Uma consequência adicional é o acesso a funções não autorizadas para determinados usuários. Caso a LLM decida quais usuários devem ter acesso a algo, um usuário pode, através de uma injeção de prompt, convencer a LLM de que tem acesso a algo que não deveria. Isso resulta em acesso não autorizado. De forma geral, nos expomos a execuções de comandos arbitrários se tivermos sistemas que possam executar esses comandos sob o controle de uma LLM. Além disso, a LLM pode manipular processos de tomada de decisão, especialmente processos críticos, que são os mais impactados e visados por agentes maliciosos.
Para mitigar essas consequências, podemos derivar estratégias das possíveis consequências. A primeira é reduzir o escopo de acesso e impacto da LLM ao mínimo possível. Caso um agente malicioso controle a LLM através de uma injeção de prompt, o dano será minimizado. Restringir o comportamento do modelo é essencial.
Outra estratégia é definir as saídas esperadas do modelo. Por exemplo, se esperamos uma resposta de sim ou não, e recebemos um código, isso já levanta um sinal de alerta. Ter meios de observar o que é esperado em cada etapa do uso de grandes modelos de linguagem nos dá mecanismos para identificar sinais de problemas antes que uma consequência maior ocorra.
Implementando controles e validações
Implementar filtros na entrada e saída do modelo também é crucial. Devemos pensar no que não esperamos na entrada e saída do modelo, verificando ações de toxicidade e utilizando modelos determinísticos, como prompt guards, que não se utilizam de toxicidade ou incertezas na execução. Combinando filtros e validações, criamos mecanismos adjacentes ao grande modelo de linguagem para controlar e entender possíveis problemas.
Impor controle de acesso e o princípio de acesso com privilégio mínimo é fundamental. Cada usuário deve ter o mínimo de acesso necessário para executar suas responsabilidades. As LLMs também precisam de controle de acesso. Quando um grande modelo de linguagem toma uma decisão, devemos considerar o contexto e o acesso permitido ao sistema.
Para operações de alto risco, é necessário exigir aprovação humana. A LLM pode identificar ações de alto risco, mas a execução deve ser supervisionada por um operador humano. Isso é importante em casos como o da Air Canada, onde uma validação humana poderia ter evitado problemas em operações financeiras, médicas, legais ou judiciais.
Conduzindo testes e simulações de ataque
Segregar e identificar conteúdo externo é outra estratégia. Por exemplo, se a LLM tem acesso a e-mails e precisa sumarizá-los, devemos garantir que comandos externos não tenham o mesmo poder de execução que o usuário primário. Isso evita combinações de entradas de diferentes origens que possam resultar em injeções de prompt indiretas.
Por fim, conduzir testes adversariais e simulações de ataque é essencial. Embora não possamos mapear todas as vulnerabilidades, devemos testar nossas aplicações ao máximo para identificar e mitigar problemas de segurança.
Essas são as estratégias de mitigação de injeção de prompt. Na próxima aula, vamos aprofundar mais nas vulnerabilidades do OWASP Top 10 para aplicações com LLMs no curso de segurança.