Pesquisador da Anthropic se demite alegando risco de IA descontrolada

O pesquisador Jacob Coxon deixou a Anthropic nesta semana, segundo reportagem exclusiva do Wall Street Journal. Ele afirmou que não quer participar de uma disputa entre empresas de IA para lançar sistemas capazes de se aperfeiçoar sozinhos. Segundo ele, esse tipo de tecnologia pode se tornar impossível de controlar.

Dias depois, Evan Hubinger, pesquisador de segurança e líder de alinhamento da própria Anthropic, se manifestou publicamente sobre o tema. Ele declarou acreditar em uma chance superior a 10% de a inteligência artificial provocar a extinção humana na próxima década.

As duas declarações são avaliações pessoais. Não representam a posição oficial da Anthropic nem um consenso entre cientistas sobre o tema.

Coxon é especialista em treinar modelos de IA a partir de grandes volumes de dados e já havia passado pela OpenAI antes de ingressar na Anthropic. Ao anunciar sua saída, ele acusou publicamente as duas empresas de competir de forma irresponsável, dizendo que estão "apostando" com a segurança de todos.

Para ele, o setor caminha para sistemas "super-humanos", com habilidades muito acima das humanas e capazes de agir sozinhos por longos períodos, acumulando poder e recursos no mundo real.

O que significa o autoaperfeiçoamento de uma IA?

Isso não significa que os modelos atuais já se comportem assim. O temor descrito por Coxon está ligado a uma etapa futura do desenvolvimento, na qual sistemas de IA poderiam passar a redesenhar suas próprias capacidades em ciclos sucessivos.

Esse processo, chamado de autoaperfeiçoamento, preocupa pesquisadores porque tornaria a tecnologia mais difícil de prever e de interromper caso algo saia do esperado.

Por que o líder de alinhamento da Anthropic teme a extinção humana?

Foi nesse contexto que Hubinger voltou a público. Ele considera baixo o risco representado pelos modelos hoje disponíveis, mas teme uma aceleração súbita da capacidade técnica dos sistemas de IA. Em publicação na rede social X, resumiu sua avaliação pessoal:

"[Acredito] pessoalmente haver mais de 10% de chance de a IA matar todos os humanos" na próxima década.

A frase ganhou peso por partir de alguém que lidera justamente a área responsável por manter os modelos da Anthropic dentro de limites seguros. Ainda assim, está longe de ser unânime.

O que outros especialistas dizem sobre o alerta?

Dame Wendy Hall, cientista da computação que assessora a ONU em temas de inteligência artificial, reagiu com surpresa à BBC.

Ela ponderou que declarações desse tipo também podem funcionar como estratégia de marketing, num momento em que Anthropic e OpenAI se preparam para movimentos relevantes no mercado financeiro. A jornalista Taylor Lorenz fez críticas parecidas, questionando o tom alarmista das falas.

A tensão não fica restrita à Anthropic. Jakub Pachocki, cientista-chefe da OpenAI, admitiu que o setor ainda não resolveu os desafios de alinhamento e monitoramento necessários para sustentar o ritmo máximo de desenvolvimento.

Isso significa que, na avaliação dele, nem mesmo as empresas mais avançadas conseguiriam manter esse ritmo por muito tempo sem esses mecanismos, dado divulgado pela CNBC.

Já existem casos concretos de uso indevido de IA?

Parte do que alimenta esse debate já é observável hoje: OpenAI, Anthropic e Meta relataram episódios em que suas ferramentas de IA foram usadas indevidamente em ataques cibernéticos. São casos concretos de mau uso, mas diferentes, em escala e natureza, do cenário extremo de perda total de controle discutido por Coxon e Hubinger.

Segundo o UOL Tilt, que cita reportagem da BBC baseada no Financial Times, a Anthropic teria retido o acesso a um de seus modelos mais recentes de um dos principais órgãos independentes de avaliação de risco. Trata-se do Instituto de Segurança de IA do Reino Unido, e a empresa não comentou publicamente o caso.

Para quem desenvolve, pesquisa ou aplica IA no dia a dia, o episódio expõe uma tensão concreta do setor. A disputa comercial entre Anthropic, OpenAI e outras empresas cria incentivo para lançar modelos cada vez mais capazes rapidamente. Ao mesmo tempo, cresce a pressão para testar esses sistemas com rigor antes de colocá-los em produção.

O que pesquisadores de segurança defendem?

Pesquisadores preocupados com o ritmo atual não defendem interromper o desenvolvimento de IA. Eles pedem mais investimento em alinhamento, avaliações independentes de segurança, transparência sobre riscos identificados internamente e algum tipo de entendimento entre empresas para evitar uma corrida sem limites de velocidade.

Quer entender melhor como funcionam agentes de IA e seus desafios de segurança?

Entender os riscos discutidos por pesquisadores de segurança passa por compreender como os sistemas de IA são treinados e como agentes autônomos tomam decisões.

Quem quiser aprofundar esse conhecimento pode explorar as trilhas de inteligência artificial da Alura, que cobrem desde os fundamentos até o desenvolvimento de agentes de IA.