Google DeepMind lança IA que traduz língua de sinais em texto

O modelo chega ao Pixel 11 integrado ao Gboard e ao Live Transcribe.

Na prática, pessoas surdas ou com deficiência auditiva podem sinalizar para a câmera do celular em vez de digitar. Na primeira versão, o SL2T entende American Sign Language (ASL) e converte os sinais em texto em inglês.

Como o SL2T transforma sinais em texto

O modelo recebe os movimentos capturados pela câmera do smartphone e traduz as sequências de sinais diretamente para texto. Ele não passa por uma etapa intermediária de "glosses", anotações que atribuem rótulos fixos a cada sinal individual.

O sistema não depende de intermediários como "glosses", simplificações usadas em pesquisas de linguagem de sinais para representar sinais individuais.

Modelos mais antigos de tradução de sinais costumavam depender desse tipo de anotação, o que limita o vocabulário e perde elementos importantes da gramática visual. O SL2T evita essa etapa: em vez de mapear sinal por sinal, o modelo traduz diretamente a sequência de coordenadas capturadas do corpo do sinalizante para texto fluente em inglês.

A técnica considera não apenas as mãos, mas também rosto, cabeça, braços e torso. Isso acontece porque a ASL e outras línguas de sinais transmitem significado por meio do movimento simultâneo de múltiplas partes do corpo. Essa dinâmica inclui marcadores não manuais e construções espaciais que fazem parte da gramática dessas línguas.

Por questões de privacidade, o SL2T não processa vídeo bruto. Um sistema local no próprio aparelho, o MediaPipe Holistic, rastreia pontos de referência no corpo da pessoa e só envia essas coordenadas geométricas para os servidores do Google.

O vídeo captado pela câmera é descartado imediatamente. Na prática, isso significa que o modelo consegue traduzir sinais para inglês diretamente na primeira versão, sendo o primeiro do tipo a chegar a um produto de consumo real.

O que torna o modelo diferente de outras IAs de linguagem de sinais?

O SL2T foi treinado com mais de 100 mil horas de dados de linguagem de sinais, cobrindo mais de 50 línguas diferentes, segundo o Google DeepMind. A versão inicial, porém, entende apenas ASL, que corresponde acerca de um quarto desse conjunto de dados.

Treinar o modelo com dados de línguas de sinais diversas, incluindo diferentes dialetos e níveis de fluência dos sinalizantes, fez o SL2T aprender padrões que se repetem entre as línguas. Na prática, ele superou variantes treinadas em apenas uma língua. Outros pontos que diferenciam o modelo incluem:

• Suporte otimizado para pessoas canhotas, que representam cerca de 10% dos sinalizantes, e para sinalização com apenas uma mão, comum quando a pessoa está segurando o celular com a outra.
• Mecanismos para reduzir alucinações, evitando que o modelo gere texto a partir de movimentos que não são sinais.
• Desempenho de estado da arte no FLEURS-ASL, benchmark que avalia a qualidade da tradução de ASL para inglês usando gravações de intérpretes surdos certificados. O SL2T alcançou pontuação de 70 BLEURT (métrica de qualidade de tradução), bem acima de resultados anteriores publicados.

Quais limitações o SL2T apresenta?

Na prática, o SL2T já está embutido no Gboard e no Live Transcribe do Pixel 11, que começa a ser vendido em 20 de agosto de 2026.

Com o recurso, pessoas surdas conseguem sinalizar para fazer buscas na web, escrever mensagens e e-mails, editar documentos e conversar com o Gemini, tudo sem digitar. No Live Transcribe, dá para responder sinalizando em vez de digitar durante uma conversa presencial.

A limitação principal é o idioma: por enquanto, o SL2T só entende ASL e converte para inglês. Isso deixa de fora usuários de outras línguas de sinais, como:

• Libras (Língua Brasileira de Sinais)
• Língua de sinais britânica (BSL)
• Língua de sinais alemã (DGS)
• Língua de sinais francesa (LSF)
• Língua de sinais quebequense (LSQ)

O Google DeepMind afirma que planeja expandir o suporte para mais línguas de sinais e mais dispositivos, além de trabalhar em modelos capazes de gerar sinais, e não apenas transcrevê-los.

Quer entender melhor como a IA está sendo aplicada para criar tecnologias mais acessíveis?

Se você quer entender como a inteligência artificial está sendo usada para resolver problemas reais, como o do SL2T, a Alura tem formações completas de IA aplicada para você conhecer, como a Carreira em Especialista em IA. Elas ajudam quem quer se aprofundar em visão computacional e processamento de linguagem.

Para entender melhor os fundamentos por trás de modelos como o SL2T, vale conferir também este artigo sobre inteligência artificial generativa. Além disso, dá pra explorar este outro sobre ferramentas de IA para produtividade no dia a dia.