+2 meses grátis para
acelerar a sua carreira

Tá acabando!

00

DIAS

00

HORAS

00

MIN

00

SEG

Logo do curso
Curso

Integração contínua para LLMs:

automatizando a avaliação de modelos com GitHub Actions e Deepeval

Quero estudar na alura

10h

Para conclusão

16

Pessoas nesse curso

Certificado

De participação

Introdução_

O que você aprenderá_

  • Construa endpoints com FastAPI e Pydantic para integrar LLMs.
  • Gerencie sessões e proteja dados sensíveis com SQLAlchemy e práticas de sanitização.
  • Avalie modelos de linguagem através de métricas customizadas com Deepeval.
  • Estruture pipelines de integração contínua com GitHub Actions.
  • Implemente testes automatizados para garantir a qualidade dos LLMs.
  • Containerize aplicações com Docker e realize o deployment no Google Cloud utilizando GitHub Secrets.

Público alvo_

Este curso foi elaborado para pessoas interessadas em expandir suas competências na criação e gerenciamento de APIs robustas e escaláveis. Ao final, será possível aplicar práticas modernas de LLMOps, integrar bancos de dados com segurança e utilizar ferramentas de containerização e automação, preparando profissionais e entusiastas para os desafios em ambientes de produção crítica.

Kelvin Pacheco

github

linkedin

Sou Engenheiro de Machine Learning e Cientista de Dados com ampla experiência no desenvolvimento de soluções baseadas em IA e sistemas escaláveis. Ao longo dos anos, liderei com sucesso projetos inovadores em diversas indústrias, com especialização em Grandes Modelos de Linguagem (LLMs), automação orientada por IA e análises avançadas de dados.

Curso atualizado em 17/10/2025

Ementa

  1. Arquitetura do projeto

    • Introdução
    • Preparando o ambiente
    • Aquitetura 360
    • Contexto jurídico e riscos
    • Garantindo a qualidade dos serviços bancários no Bytebank
    • Executando o projeto localmente
    • Atividade guiada
    • Para saber mais: uso do GitHub para versionamento
    • Implementando um sistema de versionamento para a Meteora
    • Faça como eu fiz: API com Docker
    • O que aprendemos?
  2. Esquemas e estratégias

    • Schemas pydantic e contrato de api
    • Provider strategy groq e openrouter
    • Sanitizacao e pos processamento de respostas
    • Persistindo historico com sqlalchemy
    • Garantindo a integridade das requisições na Hermex Log
    • Para saber mais: mensagens de erro para orientações eficientes
    • Protegendo dados sensíveis no aplicativo Fokus
    • Faça como eu fiz: API, LLM e SQL
    • O que aprendemos?
  3. Métricas e semânticas

    • Métricas tradicionais vs semânticas
    • Entendimento do Deepeval e modelos customizados
    • Como rodar o deepeval e conectar com confident ai
    • Métricas
    • Calibrando thresholds e controlando flakiness
    • Garantindo a fidelidade das descrições de produtos na Zoop
    • Para saber mais: llm test case para avaliação de chatbots
    • Melhorando a experiência de corredores com um chatbot
    • Faça como eu fiz: avaliação com Deepeval
    • O que aprendemos?
  4. Entendendo o workflow

    • Anatomia do workflow yaml on jobs steps
    • Para saber mais: Mensagens de commit eficazes
    • Secrets e seguranca no pipeline
    • Protegendo informações sensíveis no Buscante
    • Gemini api
    • Otimizando o lançamento de novas coleções na Meteora
    • Faça como eu fiz: pipeline CI/CD integrado
    • Gerenciamento de imagens Docker no Buscante
    • O que aprendemos?
  5. Avaliação com LLMs

    • Llm julgando llm com imparcialidade
    • Continuando o julgamento
    • Dag consistency coerencia de afirmacoes interdependentes
    • Avaliação de respostas de suporte ao cliente em e-commerce
    • Trabalhando a consistencia
    • Finalização
    • Para saber mais: rubricas na avaliação de chatbots
    • Avaliando a eficácia do Fokus com gráficos acíclicos dirigidos
    • Faça como eu fiz: métricas e deploy
    • O que aprendemos?
    • Conclusão

Descubra se esse curso é pra você! Leia as primeiras aulas

Comece essa formação agora mesmo e capacite-se para seu próximo projeto!

Conheça os planos
Escola

Inteligência Artificial

Mergulhe com profundidade no universo da Inteligência Artificial (IA) aplicada a diferentes áreas de atuação e domine as principais ferramentas que estão moldando o agora, como ChatGPT e Midjourney. Navegue pelos nossos cursos e comece a explorar todo o potencial das IAs Generativas para impulsionar a sua carreira.

Conheça a escola

Faça parte da nossa comunidade no discord!

Troque conhecimentos com a comunidade da Alura

Aprenda IA para Dados com esse e outros cursos, comece agora!

Conheça os Planos para Empresas