''Soberania de IA não é ter chip nacional, é poder trocar de fornecedor", diz Gabriel Pimenta, da Dharma-AI

A curva ainda nos favorece porque o custo de inferência é dominado pela quantidade de GPU necessária, e isso escala principalmente com o número de parâmetros. Um modelo de poucos bilhões de parâmetros precisa de muito menos GPUs para alcançar o mesmo throughput do que um modelo 10 a 100 vezes maior.

Um exemplo: um GLM 5.2 com 753B parâmetros precisa de cerca de 24 H100 para rodar. Quantizado, essa necessidade cai para 12 ou 6. Um modelo nosso de 7B roda em cerca de 1/3 de uma H100; quantizado, cabe em algo perto de 1/10.

As técnicas que barateiam o modelo grande, como quantização e kernels melhores, também barateiam o modelo pequeno na mesma proporção, em geral.

A vantagem é uma razão, não um valor absoluto que vai sendo consumido conforme o hardware barateia. E ainda temos a chance de aumentar essa razão alterando arquitetura, vocabulário e outros componentes caso a caso, algo que quem serve um modelo generalista para todos os casos não otimiza.

Existem situações onde SSLMs não valem a pena: volume baixo, onde o custo de treinar e manter o modelo não amortiza; tarefas muito generalistas, como um chat aberto que recebe perguntas de qualquer natureza; e prototipagem, onde vale mais treinar um modelo maior por instrução antes de validar premissas e só depois escalar.

A tese não é "modelo pequeno é sempre melhor". O ponto é que existe uma classe de problemas com escopo definido e volume alto, que é a maioria dos problemas de enterprise AI. Nessa classe, treinar com os dados do problema entrega qualidade igual ou superior por uma fração do custo.

No DharmaOCR vocês tratam degeneração de texto não apenas como um problema de qualidade, mas também como um problema de latência, throughput e custo. Que falhas encontradas em sistemas reais mais mudaram a forma como você pensa sobre avaliação de modelos, além de simplesmente medir acurácia?

O que mais mudou minha cabeça foi perceber que os modos de falha que tiram o valor de uma aplicação quase nunca aparecem no score do benchmark.

O caso mais claro foi degeneração textual. Testando modelos multimodais com suporte declarado a português em documentos reais, encontramos taxas de degeneração de cerca de 20%: uma a cada cinco respostas entrava em loop, repetindo um único token até o limite de contexto.

O score médio continuava razoável, porque a métrica absorve isso. Mas não tem como entregar um sistema em que uma a cada cinco requisições volta quebrada.

O segundo caso é mais sutil. Modelos pequenos erram acentuação em português,  um erro que quase não muda o resultado final e praticamente não move o score, mas mina a confiança do usuário na hora.

Vimos isso piorar com técnicas training-free de otimização de tokenização, com os scores praticamente inalterados: o benchmark disse que não tinha acontecido nada, e tinha acontecido algo que qualquer usuário notaria de primeira.

Isso nos ensinou que todo modelo precisa de uma stack de avaliação em três níveis: avaliações gerais, como degeneração textual; avaliações específicas do domínio; e avaliações específicas da tarefa, como conformidade de um JSON gerado.

Poucos meses depois do DharmaOCR, novos modelos de OCR já apareceram e vocês voltaram a compará-los. Como construir benchmarks que não envelheçam em seis meses e, ao mesmo tempo, evitar que a pesquisa comece a otimizar apenas para o próprio benchmark?

Tentamos gerar um primeiro benchmark mais genérico, evitando avaliar detalhes muito específicos do problema. Isso o faz sobreviver mais a mudanças de design, é um trade-off entre especificidade e tempo de obsolescência.

Para cada detalhe importante não coberto por esse benchmark geral, criamos subconjuntos internos de avaliação, como extração de páginas com tabelas complexas ou extração de entidades de formulários.

Cada um desses sub-benchmarks nasceu de necessidades reais trazidas por clientes, não de problemas inventados por nós, e esse é, para mim, o jeito mais eficiente de evitar otimizar só para o próprio benchmark.

Soberania de IA aparece cada vez mais no discurso da Dharma-AI. O que o Brasil realmente precisa dominar: dados, pesos dos modelos, capacidade de treinamento, infraestrutura de inferência, benchmarks ou tudo isso?

De todas elas, as mais importantes para mim são infraestrutura e capacidade de treinamento e inferência de modelos com desempenho próximo ao estado da arte.

Infraestrutura de inferência é a base. Soberania aqui não significa fabricar chip, o que deve ser um objetivo de longo prazo, mas não é realista no curto prazo. Significa ter capacidade de execução de modelos em GPUs locais, em nível nacional ou privado, para não depender inteiramente de poucos Frontier Labs estrangeiros.

Um exemplo do risco: em 12 de junho, três dias depois do lançamento, o Departamento de Comércio americano ordenou a suspensão do Claude Fable 5 e do Mythos 5 para qualquer estrangeiro. Ficou assim até 30 de junho. Foi revertido, mas o precedente ficou: o acesso a um modelo de fronteira pode virar uma decisão regulatória de um governo estrangeiro.

Sendo realistas, nossa baixa capacidade de investimento e a escassez de mão de obra qualificada nos colocam em uma posição complexa para competir diretamente com os Frontier Labs.

Por isso o foco de curto e médio prazo não deveria ser ter um modelo generalista gigante, mas a capacidade de treinar modelos competitivos em tarefas importantes de setores estratégicos, como financeiro, educação e jurídico.

Se a próxima grande vantagem não vier simplesmente de modelos maiores, onde estará a fronteira para uma empresa como a Dharma-AI nos próximos anos?

Virá da demanda por execução de modelos locais eficientes, que é a grande tese da Dharma-AI. As projeções do Gartner mostram que mais da metade do mercado de inferência de IA até 2028 será de aplicações específicas, não gerais, boa parte em mercados regulados que exigem execução local.

Os Frontier Labs otimizam para generalidade, não para eficiência, a função objetivo deles é subir 0,5% num benchmark sem cair em nenhum outro, o que é caríssimo. Nós não temos essa restrição: queremos um modelo por problema, vencendo naquele problema com a maior eficiência possível.

Nosso foco atual, e que deve se manter, é nos consolidarmos como o AI Lab de referência em especializar modelos para resolver problemas reais com o melhor desempenho e o menor custo, permitindo que rodem onde for necessário para garantir soberania, segurança e diferencial competitivo.

Gabriel Pimenta | IA Conference Brasil 2026

Se você quiser continuar essa conversa ao vivo, Gabriel é um dos palestrantes do IA Conference Brasil, o maior evento de IA e tecnologia do país, realizado pela Alura.

Dia 24 de setembro de 2026, no Frei Caneca, em São Paulo, você tem a chance de se conectar com quem está construindo a próxima era da IA no Brasil.

A terceira e maior edição do evento vai reunir mais de 1.300 profissionais, +50 conteúdos exclusivos e palcos simultâneos pensados para quem quer sair de lá entendendo o que realmente importa entre tantas novidades que surgem no mercado.

Ainda dá tempo de garantir seu lugar na maior edição da história do evento. Nos encontramos lá?

IA Conference 2025