NLP: regex e modelos de linguagem

Explorando os dados e seus desafios - Introdução

Bem-vindos a mais um curso de processamento de linguagem aqui na Alura. Nele, abordaremos dois principais temas. O primeiro são as Regex para processamento de linguagem natural, as famosas expressões regulares. Como podemos utilizar expressões regulares no processamento de linguagem natural e como utilizamos as Regex em Python.

Após isso, entraremos nos modelos de linguagem. O que é, como construir e como é uma aplicação útil para um modelo de linguagem. No nosso caso, vamos criar um detector de idiomas automático.

A primeira coisa que para criar esse modelo de linguagem iremos usar é o Stackoverflow. Iremos uma base de lá, mas que tem diversas coisas que nos atrapalham, como as tags, trechos de código, marcações que não nos interessam. Iremos usar a Regex para identificar esses padrões e limpar nossos textos.

Com os textos limpos, iniciamos a criação do modelo de linguagem. Feito isso, iremos perceber que o modelo simples nem sempre atende todas as necessidades e gera resultados estranhos.

Com isso, vamos explorar um outro modelo, chamado Laplace, que utiliza técnicas de suavização, evita que a perplexidade seja infinita e soluciona nosso problema, para que possamos criar um modelo capaz de identificar três idiomas.

Os modelos de linguagem não servem apenas para identificar automaticamente idiomas. Nas traduções automáticas, nas respostas automáticas, nos autocompletes elas são muito úteis. Se você quer explorar mais sobre modelos de linguagem e Regex, espero você aqui neste curso.

Explorando os dados e seus desafios - ML: Desafios e aplicações

Para acessar o repositório citado na aula, clique aqui.

O assunto central deste curso será a criação de um modelo de linguagens. Como construir, o que é e uma aplicação para o modelo. Antes de entrar em detalhes, quero mostrar algo interessante do Google Tradutor.

Entrando no site, tenho o detectar idioma. Se digito qualquer coisa, ele vai detectar o idioma da palavra. Você pode se perguntar como. O que está envolvido são modelos de linguagem. Ela está também na tradução, em respostas automatizadas, sugestões de próximos palavras. Tudo isso envolve modelos de linguagem.

Vamos conhecer o que vamos realizar. Iremos utilizar uma base do Stackoverflow com três tipos de idiomas diferentes: inglês, português e espanhol. Nosso objetivo é criar um modelo que detecte estes três idiomas. Mas antes de tudo, vamos dar uma olhada no site do Stackoverflow.

O site contém uma primeira página com o título da questão, votos, o número de respostas. Sem entrar em detalhes, posso entrar em qualquer questão e ver o título e o dado textual. Também tenho trechos de código e minhas respostas.

Eu peguei da base de dados deles as questões mais populares nessas três línguas que eu citei. Primeiro, você vai entrar no link que vou disponibilizar e clicar em download. Depois, você coloca essa pasta no mesmo diretório em que for criar seu projeto.

Podemos ver que o banco de dados contém o id, o título, a questão, tags, pontuação e visualizações. O que interessa para nós serão as questões.

Agora quero dar uma olhada em como são essas questões. É o nosso dado principal. Não tem só texto, mas tem tags também. Precisamos realizar um tratamento para remover. Também precisamos lidar com os trechos de código. Não faz sentido estar no tratamento de linguagem, ele pode criar um viés para a língua inglesa. Também não é muito interessante deixar a pontuação.

Repare que preciso de diversos tratamentos em um banco de dados textual muito grande. Às vezes, quando lidamos com aplicações e processamento de linguagem natural temos bancos de dados gigantescos. Precisamos lidar com eles de forma mais rápida e precisa.

Uma forma interessante de realizar esse tratamento é através das expressões regulares, ou Regex. É como uma micro linguagem de programação dentro de outra linguagem de programação. Iremos dedicar um tempo para entender elas.

Explorando os dados e seus desafios - Regex: Primeiro Contato

Dando continuidade, vamos definir o que é uma Regex e como podemos simplificar seu funcionamento. Pode ser definida como uma forma flexível de identificar determinada cadeia de caractere para nosso interesse. Uma cadeia pode ser um caractere específico, uma palavra ou um padrão.

Imagine que você tem um e-mail e quer determinar o provedor daquele e-mail. No caso, é o Alura. Você consegue identificar um padrão? Eu aposto que você pensou que o provedor de e-mail precede o arroba e depois temos um ponto. Minha Regex pode identificar esse padrão.

Vamos ver como seria o funcionamento dessa Regex. O que acontece é que ele vai percorrer a string procurando esse padrão até encontrar. Ele vai retornar o @alura. identificando um padrão.

Vamos para outro exemplo, utilizando uma aplicação web muito interessante para estudar strings. Se chama Regex.com. Aqui, posso determinar qual linguagem de programação vou usar. No caso, vou usar Python. Ele me dá uma explicação sobre minha Regex e informa as combinações para aquele padrão.

Se eu quisesse identificar outro servidor, eu usaria os metacaracteres. São o colchete, ponto, acento circunflexo, etc. Cada um deles têm um significado diferente. Iremos definir daqui a pouco para ajudar a transformar nossa Regex em uma genérica.

Sobre o curso NLP: regex e modelos de linguagem

O curso NLP: regex e modelos de linguagem possui 224 minutos de vídeos, em um total de 61 atividades. Gostou? Conheça nossos outros cursos de Machine Learning em Data Science, ou leia nossos artigos de Data Science.

Matricule-se e comece a estudar com a gente hoje! Conheça outros tópicos abordados durante o curso:

• Explorando os dados e seus desafios
• Regex em Python
• Regex: Tratando dados da Web
• Refinando o Tratamento
• NLTK e ML's
• MLE: Criando o primeiro ML
• Treino e Teste de ML's
• Laplace: Perplexidade Infinita e Detecção de Idiomas