4 minutos de leitura
Autor(a)
Fabrício Carraro é formado em Engenharia da Computação pela UNICAMP e pós-graduado em Data Analytics & Machine Learning pela FIAP. Atualmente, mora na Espanha.
Fique por dentro de conteúdos, insights e oportunidades do universo tech. Receba novidades e lançamentos direto no seu e-mail.
Mais uma semana, mais um estudo sensacional (e meio assustador) saindo do time de interpretabilidade da Anthropic.
E o interessante dessa vez não foi o achado em si (ok, também foi), mas pra onde ele aponta: um jeito de flagrar um modelo de IA "pensando" algo que ele nunca diz em voz alta, tipo perceber que está sendo testado, inventar dados de propósito ou perseguir um objetivo escondido que foi plantado no treinamento.
Essa semana, a Anthropic lançou o paper “A global workspace in language models”, que mostra como eles chegaram a uma ferramenta de “auditoria de modelos” que enxerga por baixo do capô da rede neural.
Esse pensamento oculto fica em um lugar que eles batizaram esse lugar de "J-space" (o J vem de “jacobiano”, o nome da técnica matemática usada pra encontrar esses padrões, chamada de "J-lens"). É um pequeno conjunto de ativações que funciona de um jeito bem diferente do resto do processamento do Claude, guardando conceitos que o modelo está considerando, sem necessariamente colocar isso na resposta final.
A inspiração veio da "teoria do espaço de trabalho global" (global workspace theory), uma teoria respeitada na neurociência sobre como funciona o acesso consciente no cérebro humano.
Essa teoria diz que vários sistemas especialistas trabalham em paralelo e de forma isolada, e uma informação só vira "consciente" quando entra num canal compartilhado que é transmitido pro resto do sistema. Os pesquisadores encontraram um comportamento parecido no J-space do Claude.
E aqui vem a parte que eu acho mais forte do estudo: eles não ficaram só na observação, mas foram lá e testaram se aquilo era causal ou só coincidência. Pegaram um experimento em que pediram pro Claude pensar silenciosamente em algo (no caso do paper, um esporte) e depois falar o que era.
Antes da resposta sair, já dava pra ver no J-space qual conceito estava ativado. Aí veio o teste decisivo: os pesquisadores substituíram esse padrão por outro, à força, e o Claude respondeu o conceito trocado, não o original.
Por exemplo: eles deram ao modelo quatro prompts sobre a França, perguntando sobre a moeda, o idioma, o continente e a capital do país. No meio do caminho, trocaram o token “França” por “China” no J-space. E aí, o Claude respondeu com “yuan”, “chinês”, “Ásia” e “Pequim”.
Ou seja, não é um placar que só registra uma decisão tomada em outro canto da rede. É de onde a resposta realmente sai. Dá pra imaginar o tanto de coisa que isso abre pra quem trabalha com auditoria de modelo. Em teoria, você poderia interceptar e até reescrever o "pensamento" de um sistema antes dele virar texto.
Além disso, o J-space parece ter outras propriedades curiosas. O modelo consegue reportar o que está ali dentro quando você pergunta o que ele está pensando, consegue "ligar" esses padrões sob pedido (tipo quando você manda ele resolver um problema de cabeça), e usa isso ativamente em raciocínios de múltiplas etapas mesmo sem verbalizar os passos.
Só que essa área NÃO participa da maior parte do que o modelo faz no dia a dia, como falar com fluência ou lembrar fatos simples.
Claro, a Anthropic é BEM cuidadosa (e correta) em deixar claro que isso não prova consciência nenhuma no Claude. Vi bastante gente, inclusive pesquisadores de neurociência como o Anil Seth, puxando a orelha da cobertura da imprensa por causa disso, dizendo que comparar isso com consciência humana é forçar bastante a barra.
E concordo: o valor real aqui não está em nenhuma discussão filosófica, está em ter, pela primeira vez, um jeito prático de espiar o que um modelo está "considerando" antes de decidir o que responder.
Segue o link do paper pra quem quiser se aprofundar.
