Caroline Zago
Engenheira de AI & Machine Learning com foco em MLOps e GenAI. Atuo há 7 anos na construção ...
Inteligência Artificial
Observabilidade para LLMs: monitoramento e avaliação com LangFuse
12hCarga horária
57Atividades
204Estudantes
8,8Avaliação média
01Certificado
O que você vai aprender
- Instrumente aplicações com LangFuse para capturar traces, spans, events e generations de interações com LLMs.
- Monitore desempenho, latência e falhas nas chamadas a modelos, identificando regressões de forma contínua.
- Desacople, versione e gerencie prompts para suportar experimentação e comparações reprodutíveis.
- Avalie automaticamente respostas de modelos utilizando métricas como ground truth, similaridade e tamanho dos outputs.
- Analise resultados com DataFrames em Python e interprete métricas para gerar insights acionáveis.
- Implemente sinais automáticos para manter a avaliação contínua e comparar a performance entre diferentes modelos.
Público alvo
Profissionais de dados, engenheiros de ML, desenvolvedores e gestores de produto que desejam instrumentar, monitorar e otimizar aplicações baseadas em modelos de linguagem (LLMs) usando LangFuse e Python.
Ementa
- Para saber mais: importância do flush na instrumentação
- Para saber mais: determinismo em LLMs
- Faça como eu fiz: instrumentação LLM
- Gerenciamento de dados em tempo real no CodeChella
- Garantindo a qualidade das recomendações de vídeo na Screen Match
- Monitoramento de Interações em Aplicações de Bem-Estar
- Desafio: lidando com variações em respostas
- O que aprendemos?
Certificado reconhecido pelas maiores
empresas do Brasil e do mundo.
Aprenda com
quem está
construindo
o mercado
Caroline Zago
Engenheira de AI & Machine Learning com foco em MLOps e GenAI. Atuo há 7 anos na construção ...
Inteligência Artificial
Mergulhe com profundidade no universo da Inteligência Artificial (IA) aplicada a diferentes áreas de atuação e domine as principais ferramentas que estão moldando o agora, como ChatGPT e Midjourney. Navegue pelos nossos cursos e comece a explorar todo o potencial das IAs Generativas para impulsionar a sua carreira.
Explore conteúdos
Inicie sua jornada agora.
Cursos relacionados em IA para Análise de Dados & BI
VBA e ChatGPT:
potencializando as automações
Ver mais em Inteligência ArtificialCertificado Alura
MySQL com IA:
implementando processos transacionais
Ver mais em Inteligência ArtificialCertificado Alura
Checkpoint Especialista em IA - Nível 1:
Ver mais em Inteligência ArtificialCertificado Alura
Agentes de IA na AWS:
fundamentos, prompts e RAG
Ver mais em Inteligência ArtificialCertificado Alura
