Google DeepMind testa IA médica que analisa vídeo em tempo real

O sistema de inteligência artificial é baseado no Gemini e foi criado para participar de consultas médicas por vídeo em tempo real, unindo diálogo, raciocínio clínico e percepção audiovisual.

O experimento envolveu 30 médicos de atenção primária, 15 pacientes-atores e 100 cenários clínicos, de acordo com o estudo publicado no arXiv.

A comparação colocou frente a frente três abordagens: o AMIE com acesso a vídeo, uma variante do mesmo sistema restrita a texto e médicos humanos atendendo por chamada de vídeo.

Avaliadores consideraram a IA equivalente ou superior aos médicos em diferentes aspectos da consulta.

Como a IA médica consegue interpretar uma consulta em vídeo

Diferente de sistemas médicos baseados apenas em texto, o AMIE (Video) processa simultaneamente fala e elementos visuais durante o atendimento. Uma consulta médica real vai muito além do que é dito em voz alta.

O profissional acompanha a forma como o paciente se movimenta, percebe sinais de dor ou desconforto no rosto e no corpo e presta atenção à respiração. Ao mesmo tempo, conduz manobras de exame físico enquanto ouve o histórico clínico relatado.

O sistema tem como base o Gemini. Ele incorpora tecnologia derivada do Project Astra, iniciativa do Google voltada a assistentes de IA capazes de perceber o mundo em tempo real por câmera e microfone.

A partir dessa base, o AMIE combina múltiplos módulos especializados para dar conta de tarefas distintas. Na prática, isso inclui reconhecer pistas visuais e sonoras, orientar o paciente durante um autoexame guiado e produzir raciocínio diagnóstico enquanto a conversa avança.

Essa divisão em módulos existe porque conduzir um diálogo natural, analisar informações complexas e interpretar vídeo contínuo são tarefas com exigências muito diferentes.

Um único modelo dificilmente sustentaria ao mesmo tempo a fluidez de uma conversa e a profundidade de um raciocínio clínico detalhado. Por isso, a arquitetura do AMIE distribui essas funções entre agentes que trabalham de forma assíncrona, cada um dedicado a uma parte do problema.

Como a IA foi comparada ao desempenho de médicos?

O experimento seguiu o formato de Objective Structured Clinical Examination (OSCE), modelo usado por escolas de medicina para avaliar estudantes. Nessa versão do teste, os cenários foram distribuídos de forma aleatória entre as três abordagens comparadas.

Avaliadores clínicos independentes analisaram as consultas sem saber, a princípio, se estavam diante de um médico ou de uma IA.

O AMIE recebeu avaliações favoráveis em quesitos como a qualidade da entrevista clínica e a precisão do diagnóstico sugerido. Também se destacou pela coerência da conduta proposta e pela clareza na comunicação com o paciente.

No quesito de observação e exame físico, ou seja, captar sinais físicos e guiar a pessoa por um exame virtual, o sistema teve desempenho bem acima do observado nos médicos humanos, segundo os dados do próprio estudo.

O que a IA ainda não consegue fazer bem?

Os próprios autores do estudo reconhecem limites claros. O sistema ainda tropeça em detalhes anatômicos mais finos, tem dificuldade para captar nuances emocionais e não lida bem com movimentos rápidos do paciente durante a análise em vídeo.

Vale lembrar também que todo o teste foi feito com atores simulando pacientes, não com pessoas em atendimento real.

Há ainda outra lacuna importante: o AMIE igualou ou superou os médicos nas competências técnicas avaliadas nesse formato de vídeo. Mas perdeu para os profissionais humanos justamente no quesito ligado à criação de vínculo e à construção de confiança com o paciente.

Isso mostra que uma boa consulta depende de dimensões humanas que vão além de diagnóstico e conduta corretos.

Por isso, os próprios pesquisadores defendem que o sistema precisa passar por testes robustos em ambientes clínicos reais antes de qualquer uso prático. O AMIE continua sendo, portanto, um sistema de pesquisa, não um produto liberado para uso clínico.

Quer entender melhor como a IA multimodal está evoluindo?

Modelos de IA estão cada vez mais capazes de processar diferentes tipos de informação ao mesmo tempo, como texto, imagem, áudio e vídeo.

Se você quer se aprofundar nesse tipo de tecnologia, a Alura tem formação na Carreira em Engenharia de IA. Assim você entende melhor como esses sistemas evoluem para atuar em tarefas cada vez mais complexas.