A IA não é consciente. Mas agora sabemos onde ela "pensaria", se fosse
4 minutos de leitura

Mais uma semana, mais um estudo sensacional (e meio assustador) saindo do time de interpretabilidade da Anthropic.
E o interessante dessa vez não foi o achado em si (ok, também foi), mas pra onde ele aponta: um jeito de flagrar um modelo de IA "pensando" algo que ele nunca diz em voz alta, tipo perceber que está sendo testado, inventar dados de propósito ou perseguir um objetivo escondido que foi plantado no treinamento.
Essa semana, a Anthropic lançou o paper “A global workspace in language models”, que mostra como eles chegaram a uma ferramenta de “auditoria de modelos” que enxerga por baixo do capô da rede neural.
Esse pensamento oculto fica em um lugar que eles batizaram esse lugar de "J-space" (o J vem de “jacobiano”, o nome da técnica matemática usada pra encontrar esses padrões, chamada de "J-lens"). É um pequeno conjunto de ativações que funciona de um jeito bem diferente do resto do processamento do Claude, guardando conceitos que o modelo está considerando, sem necessariamente colocar isso na resposta final.
A inspiração veio da "teoria do espaço de trabalho global" (global workspace theory), uma teoria respeitada na neurociência sobre como funciona o acesso consciente no cérebro humano.
Essa teoria diz que vários sistemas especialistas trabalham em paralelo e de forma isolada, e uma informação só vira "consciente" quando entra num canal compartilhado que é transmitido pro resto do sistema. Os pesquisadores encontraram um comportamento parecido no J-space do Claude.
E aqui vem a parte que eu acho mais forte do estudo: eles não ficaram só na observação, mas foram lá e testaram se aquilo era causal ou só coincidência. Pegaram um experimento em que pediram pro Claude pensar silenciosamente em algo (no caso do paper, um esporte) e depois falar o que era.
Antes da resposta sair, já dava pra ver no J-space qual conceito estava ativado. Aí veio o teste decisivo: os pesquisadores substituíram esse padrão por outro, à força, e o Claude respondeu o conceito trocado, não o original.
Por exemplo: eles deram ao modelo quatro prompts sobre a França, perguntando sobre a moeda, o idioma, o continente e a capital do país. No meio do caminho, trocaram o token “França” por “China” no J-space. E aí, o Claude respondeu com “yuan”, “chinês”, “Ásia” e “Pequim”.

Autor(a)
Fabrício Carraro
Fabrício Carraro é formado em Engenharia da Computação pela UNICAMP e pós-graduado em Data Analytics & Machine Learning pela FIAP. Atualmente, mora na Espanha.
Inscreva-se em nossa Newsletter
Fique por dentro de conteúdos, insights e oportunidades do universo tech. Receba novidades e lançamentos direto no seu e-mail.


