NLP: explorando modelos para Linguagem Natural

E o melhor de tudo: vamos trazer exemplos práticos com código para você já ter capacidade de aplicar agora mesmo.

Então, vem comigo nesta leitura e vamos explorar os modelos de NLP!

O que são modelos de NLP

Os modelos de NLP podem ser utilizados para realizar diferentes tipos de tarefas relacionadas a textos.

Somos capazes de utilizar modelos pré-treinados, e até mesmo realizar a tunagem, onde utilizamos um modelo pré-treinado em um conjunto de dados específico para a tarefa que desejamos realizar.

Para fazer isso, temos diversos modelos robustos disponibilizados gratuitamente em plataformas como o Hugging Face.

Dito isso, a partir de agora, vamos explorar diversos exemplos de aplicações dos modelos de NLP, entre eles: classificação de texto, classificação zero-shot, resumo de texto, tradução de texto, geração de texto e resposta a textos.

Classificação de texto

A classificação de texto tem como objetivo rotular textos. Um exemplo de aplicação seria a análise de sentimentos, onde classificamos um texto em positivo, negativo ou neutro.

O DISTILBERT é um exemplo de modelo para classificação de texto. Através dele conseguimos digitar um texto e avaliar se foi um comentário positivo ou negativo.

No exemplo a seguir, vamos utilizar um modelo tunado com foco no inglês a partir do DISTILBERT:

Resultado:

O resultado final apresenta um rótulo e uma pontuação. O rótulo indica se o comentário foi positivo ou negativo e a pontuação demonstra o nível de positivo/negativo deste comentário.

No nosso exemplo, a frase inicial diz o seguinte: “Este bolo parece delicioso!”. O resultado marca corretamente que ele foi positivo.

Classificação zero-shot

Na classificação zero-shot, você consegue classificar textos que não foram vistos durante o treinamento.

A ideia é que consigamos utilizar o modelo para outras tarefas, além das que foram treinadas anteriormente.

Isso acontece sem precisarmos dar nenhum exemplo prévio do texto que desejamos classificar.

Para isso, podemos utilizar um texto de entrada e definir quais são os possíveis rótulos que podem ser aplicados.

Com isso, o modelo irá apontar quais rótulos são mais prováveis de pertencer ao texto, apenas com a sua própria capacidade desenvolvida durante seu treinamento inicial.

Para esse tipo de classificação, podemos utilizar os seguintes modelos:

• BART
• Llama
• Gemma
• Bloom

Além disso, podemos utilizar o modelo padrão da tarefa “zero-shot-classification” na função pipeline().

Como exemplo, vamos fornecer um texto falando que este artigo aborda modelos de NLP, com os possíveis rótulos: educação, política e negócios:

Resultado:

Como podemos verificar no resultado, uma pontuação de 0 a 1 é dada para cada rótulo listado. Nesse caso, o rótulo com maior nota foi o de “education” (educação), indicando corretamente o tema do texto inserido.

Resumo de texto

Como o próprio nome indica, esse tipo de modelo é capaz de resumir textos. Existem modelos com diferentes capacidades, seja para textos grandes, pequenos, apenas uma linguagem ou várias linguagens.

Esse resumo pode ser realizado de duas formas: tirando partes importantes do texto e usando para gerar o resumo; ou pegando a ideia principal e escrevendo um resumo com texto novo/criado.

O modelo padrão utilizado pela tarefa de resumo do pipeline é DISTILLBART. Podemos escolher entre manter a tarefa padrão ou então escolher o modelo que iremos utilizar.

Alguns exemplos de modelos que são capazes de realizar resumo:

• BART
• mT5
• pegasus

Para verificar na prática como essa tarefa funciona, vamos manter o seu modelo padrão no pipeline. Como esse modelo aceita apenas textos em inglês, vamos utilizar um texto nessa língua.

Para isso, vamos usar um texto em inglês explicando o que é NLP:

Resultado:

Através do resultado final, conseguimos perceber que esse modelo padrão fez o resumo pegando trechos do próprio texto. Dessa forma, conseguimos entender claramente qual os principais pontos do texto.

Tradução de texto

A tradução de texto também é uma das tarefas realizadas por modelos de NLP. Assim como os modelos de resumo, eles possuem diferentes capacidades, como tamanho do texto e linguagens.

Para realizar a tradução, podemos utilizar os seguintes modelos:

• Helsinki
• T5
• NLLB

As línguas disponíveis para tradução variam de modelo para modelo, onde alguns possuem mais variedade que outros.

Por exemplo, NLLB é um modelo do Facebook e tem capacidade para 196 línguas, enquanto o T5, do Google, cobre apenas 5.

Para exemplificar, vamos traduzir um texto do inglês para o português utilizando o modelo do Facebook:

Resultado:

No caso do modelo utilizado, tivemos que especificar tanto a linguagem de origem, o inglês, quanto a linguagem final, o português. Para isso, temos que inserir o código de cada língua corretamente, de forma que o modelo entenda.

Geração de texto

Os modelos de geração de texto são capazes de continuar um texto a partir de uma entrada, como uma frase inicial. Após essa frase, ele gera o restante do texto com base na ideia central do texto inicial.

Assim como os modelos Classificação Zero-Shot, para esse tipo de tarefa, temos alguns modelos para utilizar:

• Llama
• Gemma
• Bloom
• Mixtral

Podemos escolher alguns desses modelos, mas também é possível utilizar o modelo padrão da tarefa, e é isso que vamos fazer para nosso exemplo.

Vamos dar uma frase inicial para que o modelo continue gerando o restante do texto:

Resultado:

Nesse exemplo, utilizamos a frase “Neste artigo, vamos ensinar você a” para iniciar a geração de texto.

Como a geração é aleatória, o resultado trouxe um texto falando sobre fluxo de dados. Para obter um resultado novo, basta rodar o código novamente.

Resposta a textos

Anteriormente, exploramos um tipo de modelo que consegue gerar textos. Além disso, temos modelos para extrair textos a partir de uma entrada.

Nesse caso, podemos extrair respostas a perguntas a partir de um dado contexto. Diferente da geração de texto, nesse tipo de tarefa o resultado é retirado do próprio texto inserido.

Como exemplos de modelos, temos:

• BERT
• Roberta
• Llama

Para exemplificar, vamos fazer uma pergunta sobre o artigo:

Resultado:

Como podemos perceber, o resultado final é baseado no contexto dado para a pergunta, indicando a pontuação, onde a resposta começa e termina, além de qual é a resposta da pergunta.

Conclusão

Neste artigo, conseguimos explorar os principais modelos de NLP, onde desvendamos o funcionamento e como aplicar na prática com código.

Através desses modelos, conseguimos realizar tarefas que vão desde a classificação de texto até a geração de novos textos.

Além disso, temos acesso a todos esses modelos de forma gratuita, o que nos permite desenvolver aplicações sem maiores custos.

Durante a leitura, fomos capazes de:

• Explorar os principais modelos de NLP;
• Conhecer os modelos para cada tipo de tarefa;
• Verificar na prática como aplicar cada modelo.

Quer aprender a desenvolver aplicações utilizando modelos de NLP? Para isso, confira a formação Dominando Hugging Face com Python.

Além disso, para mais informações sobre modelos de NLP em geral, acesse a documentação do Hugging Face sobre Transformers.

Um abraço e até mais!

Créditos

• Conteúdo: Marcelo Cruz
• Produção técnica: Rodrigo Dias
• Produção didática: Tiago de Freitas
• Designer gráfico: Alysson Manso
• Apoio: Rômulo Henrique