Transformers: fundamentos e prática com PyTorch

O que você vai aprender

• Compreenda os fundamentos de self-attention e multi-head attention.
• Entenda a importância do positional encoding na modelagem.
• Explore a implementação de blocos de Transformer utilizando PyTorch.
• Analise o processo de pré-processamento de dados com tokenizadores pré-treinados.
• Aplique técnicas de regularização como dropout e máscaras causais.
• Estruture modelos de linguagem autoregressivos para geração de texto.