NLP: introdução a regex e modelos de linguagem

Conteúdo Detalhado

1. Explorando os dados e seus desafios

   • ML: Desafios e aplicações
   • Regex: Primeiro Contato
   • Explorando a sintaxe

2. Regex em Python

   • Regex: Possíveis aplicações
   • Utilização de Regex em Python
   • Conhecendo a função re.sub
   • Agilidade com re.compile

3. Regex: Tratando dados da Web

   • Regex: Remoção TAG HTML
   • Remoção de trechos de código
   • Tratamento de banco de dados

4. Refinando o Tratamento

   • Remoção de dígitos e pontuações
   • Espaços duplicados
   • Aplicação nos dados em português
   • Aplicação nos demais idiomas

5. NLTK e ML's

   • Modelos de Linguagem
   • NLTK e Bigrams
   • Caracteres Falsos

6. MLE: Criando o primeiro ML

   • Dados de Treino e Teste
   • Pipeline para treinamento de ML
   • Criação de modelo MLE
   • Perplexidade para palavras

7. Treino e Teste de ML's

   • Função para treinar ML's
   • Perplexidade para frases
   • Perplexidade infinita

8. Laplace: Perplexidade Infinita e Detecção de Idiomas

   • Resolvendo a perplexidade infinita
   • Aplicação de ML para detectar idiomas