Curso de NLP: Introdução a regex e modelos de linguagem

Faça esse curso de Machine Learning e:

• Avance nos estudos sobre Processamento de Linguagem Natural.
• Aprenda como as regex pode ajudar no tratamento de dados textuais.
• Entenda o que são o modelos de linguagem e suas aplicações
• Crie um modelo que detecta idiomas modo automatizado.
• Pratique bibliotecas python como NLTK e Scikit-Learn.

Conteúdo Detalhado

1. Explorando os dados e seus desafios

   • ML: Desafios e aplicações
   • Regex: Primeiro Contato
   • Explorando a sintaxe

2. Regex em Python

   • Regex: Possíveis aplicações
   • Utilização de Regex em Python
   • Conhecendo a função re.sub
   • Agilidade com re.compile

3. Regex: Tratando dados da Web

   • Regex: Remoção TAG HTML
   • Remoção de trechos de código
   • Tratamento de banco de dados

4. Refinando o Tratamento

   • Remoção de dígitos e pontuações
   • Espaços duplicados
   • Aplicação nos dados em português
   • Aplicação nos demais idiomas

5. NLTK e ML's

   • Modelos de Linguagem
   • NLTK e Bigrams
   • Caracteres Falsos

6. MLE: Criando o primeiro ML

   • Dados de Treino e Teste
   • Pipeline para treinamento de ML
   • Criação de modelo MLE
   • Perplexidade para palavras

7. Treino e Teste de ML's

   • Função para treinar ML's
   • Perplexidade para frases
   • Perplexidade infinita

8. Laplace: Perplexidade Infinita e Detecção de Idiomas

   • Resolvendo a perplexidade infinita
   • Aplicação de ML para detectar idiomas