Logo do curso
Curso

Observabilidade para LLMs:

monitoramento e avaliação com LangFuse

Quero estudar na alura

12h

Para conclusão

25

Pessoas nesse curso

Certificado

De participação

Introdução_

O que você aprenderá_

  • Instrumente aplicações com LangFuse para capturar traces, spans, events e generations de interações com LLMs.
  • Monitore desempenho, latência e falhas nas chamadas a modelos, identificando regressões de forma contínua.
  • Desacople, versione e gerencie prompts para suportar experimentação e comparações reprodutíveis.
  • Avalie automaticamente respostas de modelos utilizando métricas como ground truth, similaridade e tamanho dos outputs.
  • Analise resultados com DataFrames em Python e interprete métricas para gerar insights acionáveis.
  • Implemente sinais automáticos para manter a avaliação contínua e comparar a performance entre diferentes modelos.
  • Desenvolva fluxos de monitoramento e mitigação para melhorar a confiabilidade de aplicações com IA generativa.

Público alvo_

Profissionais de dados, engenheiros de ML, desenvolvedores e gestores de produto que desejam instrumentar, monitorar e otimizar aplicações baseadas em modelos de linguagem (LLMs) usando LangFuse e Python.

Caroline Zago

Caroline Zago

linkedin

Engenheira de AI & Machine Learning com foco em MLOps e GenAI. Atuo há 7 anos na construção de plataformas escaláveis para desenvolvimento, deploy e observabilidade de modelos, com experiência em LLMs, agentes e pipelines em produção. Apaixonada por ensinar, compartilho conhecimento de forma prática, conectando teoria e implementação real.

Curso atualizado em 06/05/2026

Ementa

  1. Fundamentos de Observabilidade em Aplicações de IA

    • Para saber mais: importância do flush na instrumentação
    • Para saber mais: determinismo em LLMs
    • Faça como eu fiz: instrumentação LLM
    • Gerenciamento de dados em tempo real no CodeChella
    • Garantindo a qualidade das recomendações de vídeo na Screen Match
    • Monitoramento de Interações em Aplicações de Bem-Estar
    • Desafio: lidando com variações em respostas
    • O que aprendemos?
  2. Tracing e instrumentação de pipelines de IA

    • Para saber mais: registro de input e output em spans
    • Para saber mais: uso de user_id para análise de execuções
    • Faça como eu fiz: observabilidade LLMs
    • Integração de dispositivos de segurança em casas inteligentes
    • Melhorando a experiência de compra no Gatito Petshop
    • Gerenciamento de sessões no aplicativo Fokus
    • Desafio: estruturando um pipeline observável com Langfuse
    • O que aprendemos?
  3. Gerenciamento e experimentação de prompts

    • Para saber mais: inclusão de resposta esperada no dataset
    • Para saber mais: experimentação com LLMs
    • Faça como eu fiz: gerenciar prompts
    • Desacoplamento de prompts na VideoFlowNow
    • Comparando prompts para melhorar a experiência do usuário na Freelando
    • Avaliando a qualidade de respostas em agendamentos de spa
    • Desafio: estruturando experimentos de prompts
    • O que aprendemos?
  4. Avaliação de Sistemas com LLMs

    • Para saber mais: otimização com propagate attributes
    • Para saber mais: desafios do LLM-as-Judge
    • Faça como eu fiz: avaliação de LLMs
    • Avaliação de intenções em consultas de suporte técnico
    • Melhorando a experiência do usuário na WaveCast com LLM as Judge
    • Avaliando a qualidade dos projetos na CodeConnect
    • Desafio: Avaliação Observável de Respostas em Produção
    • O que aprendemos?
  5. Monitoramento e operação em produção

    • Para saber mais: refatoração de código para monitoramento contínuo
    • Para saber mais: Além das métricas em observabilidade de LLMs
    • Faça como eu fiz: priorize casos críticos
    • Implementação de sistema de alerta na Clínica Médica Voll
    • Implementando fallback em portfólios digitais
    • Aprimorando a experiência do usuário com monitoramento contínuo
    • Desafio: operando um sistema de IA em produção
    • O que aprendemos?

Descubra se esse curso é pra você! Leia as primeiras aulas

Comece essa formação agora mesmo e capacite-se para seu próximo projeto!

Conheça os planos
Escola

Inteligência Artificial

Mergulhe com profundidade no universo da Inteligência Artificial (IA) aplicada a diferentes áreas de atuação e domine as principais ferramentas que estão moldando o agora, como ChatGPT e Midjourney. Navegue pelos nossos cursos e comece a explorar todo o potencial das IAs Generativas para impulsionar a sua carreira.

Conheça a escola

Faça parte da nossa comunidade no discord!

Troque conhecimentos com a comunidade da Alura

Bônus PM3 Summit 2026

Alavanque sua carreira com até 44% off + bônus exclusivos no checkout.

Conheça os Planos para Empresas