O que você aprenderá_

Compreenda os fundamentos de self-attention e multi-head attention.
Entenda a importância do positional encoding na modelagem.
Explore a implementação de blocos de Transformer utilizando PyTorch.
Analise o processo de pré-processamento de dados com tokenizadores pré-treinados.
Aplique técnicas de regularização como dropout e máscaras causais.
Estruture modelos de linguagem autoregressivos para geração de texto.

Público alvo_

Este curso é destinado a pessoas interessadas em aprofundar conhecimentos em deep learning, explorando a arquitetura Transformer e suas aplicações práticas para o desenvolvimento de modelos de linguagem e análise de dados, utilizando ferramentas modernas como PyTorch e Matplotlib.

João Vitor Alencar Rosa Ataíde

Instrutor e Cientista de Dados com foco Visão Computacional, graduado em Engenharia Civil e Ciência e Tecnologia, com foco em GeoAI, Sensoriamento Remoto e Aprendizado de Máquina aplicado. Amante de programação, mapas e tecnologia.

Curso atualizado em 18/11/2025

Já estuda na Alura?

Comece o curso agora

Ementa

Fundamentos de Transformers e Preparação do Dataset
- Introdução ao curso de Redes Neurais Transforms com Pytorch
- Introdução teórica Redes Neurais Transformers
- Carregando e Limpando o Dataset
- Para saber mais: uso de expressões regulares na limpeza de dados
- Tratamento de dados textuais para receitas
- Personalização de experiências de bem-estar
- Faça como eu fiz: preparando e limpando dados para Transformers
- Projeto do curso
- O que aprendemos?
Tokenização e Codificação Posicional
- Utilizando Tokenizer Pre-Treinado (BERT)
- Gerenciamento de listas de compras com tokenização
- Adaptação de tokenizador BERT ao domínio de e-commerce da Listin
- Para saber mais: tamanho do vocabulário
- Positional Encoding
- Otimizando recomendações de filmes com codificação posicional
- Faça como eu fiz: tokenizando textos e aplicando codificação posicional
- O que aprendemos?
Atenção que Gera Contexto
- Calculando o Self-Attention
- Otimizando recomendações de vídeos na plataforma
- Implementando Multi-Head Attention
- Aprimorando a gestão de tempo no aplicativo
- Para saber mais: divisão pela raiz de dk na atenção
- Faça como eu fiz: calculando a Self-Attention e implementando a Multi-Head Attention
- O que aprendemos?
Modelo Auto-Regressivo em Ação
- Implementando Feed-Forward Network
- Otimizando recomendações de produtos tecnológicos
- Bloco de Transformer e Modelo de Linguagem
- Ajuste de temperatura na geração de recomendações
- Para saber mais: inicialização dos pesos
- Faça como eu fiz: construindo o bloco Transformer e otimizando o modelo de linguagem
- O que aprendemos?
Levando Modelos de Linguagem à Produção
- Treinamento do Modelo
- Para saber mais: block size no treinamento autoregressivo
- Otimizando a experiência do festival CodeChella com modelos de autoregressão
- Avalição e Validação dos Resultados
- Avaliando a coerência de descrições de pacotes de viagem
- Deploy e Interface Interativa
- Salvando e integrando modelos de viagem em pipelines
- Faça como eu fiz: treinando, avaliando e implantando modelos de linguagem Transformer
- O que aprendemos?

Descubra se esse curso é pra você! Leia as primeiras aulas

Comece essa formação agora mesmo e capacite-se para seu próximo projeto!

Conheça os planos

Escola

Inteligência Artificial

Mergulhe com profundidade no universo da Inteligência Artificial (IA) aplicada a diferentes áreas de atuação e domine as principais ferramentas que estão moldando o agora, como ChatGPT e Midjourney. Navegue pelos nossos cursos e comece a explorar todo o potencial das IAs Generativas para impulsionar a sua carreira.

Conheça a escola