Artigos de Tecnologia e Negócios > Data Science

PLN: O que é processamento de linguagem natural?

goncalves-thiago
goncalves-thiago

Neste artigo você vai descobrir o que é PLN, origens e desafios.

O Processamento de Linguagem Natural (PLN ou NLP) mescla ciência da computação, inteligência artificial e linguística se dedicando a geração e compreensão automática da linguagem natural. Mas e no dia a dia onde encontramos a PLN?

####### Fonte: Aliz.ia

PLN no dia a dia!

Quantas mensagens de texto você leu hoje? Quantos áudios foram enviados por apps de mensagens? Quantos e-mails foram recebidos? Quantos posts em redes sociais foram enviados?

Para todas as perguntas acima a provável resposta é que foram muitos. O webfx mostra em tempo real o quanto de dados está sendo trafegado na internet a cada instante, se você entrar repare que é um volume gigantesco, grande parte desses dados são texto, áudios ou vídeos.

A disponibilidade de dados em linguagem natural nunca foi tão grande, por isso, tratar e desenvolver algoritmos que possibilitem o desenvolvimento de aplicações úteis em nosso dia a dia com toda essa informação é parte fundamental do processamento de linguagem natural.

Mas uma dúvida que fica, de onde veio esta ideia de misturar computação com linguistica?.

Origem

Em 1950 Alan Turing publicou o artigo Computing Machinery and Intelligence, sendo pioneiro em inteligência artificial, trazendo a proposta de um teste conhecido atualmente como Teste de Turing.

O desafio que consiste na identificação de uma máquina ou uma pessoa baseada apenas nas perguntas e respostas de uma conversa homem-máquina, deu origem ao processamento de linguagem natural como conhecemos hoje.

teste de turing

Fonte: Wikipédia

Surge, então, nos anos 60 os primeiros sistemas bem sucedidos, dentre eles o que se destaca é a ELIZA que simula uma psicoterapeuta.

Usando informações sobre o pensamento e emoções humanas, ELIZA criava interações surpreendentemente humanas. Quando o usuário extrapolava a base de conhecimento do programa, ELIZA fornecia respostas genéricas para manter a conversa ainda mais humana..

Até os anos 80, grande parte dos sistemas de PLN eram baseados em conjuntos complexos de regras, e no final da década, os algoritmos de machine learning deram início a uma nova e promissora fase na área, onde os algoritmos eram relativamente simples, como árvore de decisão e já produziam sistemas de regras tão semelhantes ou até melhor que as regras escritas a “mão” no início da década.

Evolução dos modelos

Desde então, modelos estatísticos, técnicas de machine learning e mais recentemente deep learning dominam a área, criando sistemas cada vez mais próximos de passar no teste de Turing.

Os novos modelos nos impressionam com tradutores cada vez melhores, chatbots humanizados e classificadores capazes de perceber sentimentos em relação a um produto analisando suas avaliações textuais.

Um caso muito interessante ocorreu em Setembro de 2019, quando o Allen Instituto Para Inteligência Artificial (AI2) revelou ao mundo o programa chamado Aristo que pode resolver corretamente um teste científico com taxa de acerto maiores que 90%, embora o teste seja de um 9° ano escolar, no Brasil, e pareça relativamente simples para um adulto, essa tarefa é extremamente difícil para um computador.

Para encontrar as respostas corretas a cada uma das perguntas, foram necessários analisar bilhões e bilhões de documentos. Retirar informações úteis desses bilhões de documentos só foi possível com a intersecção de área como computação, linguística e inteligência computacional.

O PLN é justamente essa área interdisciplinar do conhecimento que trabalha com a interação entre computadores e humanos usando a linguagem natural. A partir de modelos linguísticos como a teoria da gramática generativa de Noam Chomsky e modelos estatístico o PLN processa, analisa e gera valor tendo como input dados em linguagem natural, sejam textos ou áudios.

Quais os desafios?

O processamento de linguagem natural não é um problema solucionado, principalmente quando tratamos de análise semântica. No contexto da linguística, semântica é o estudo do significado usado por seres humanos para se expressar através da linguagem, Para compreender ironia ou sarcasmo por exemplo, não são analisadas apenas as palavras utilizadas na frase, mas o contexto em que elas estão aplicadas.

A generalização dos modelos de NLP também é um problema, embora avance a passos largos devido às técnicas mais avançadas de Deep Learning lançadas nos últimos anos, criar modelos treinados em uma linguagem que sejam genéricos o suficiente para serem aplicados de forma satisfatória em outros idiomas ainda é um problema, desafiador e importante, visto que nem todas as línguas têm base de dados boas o suficiente para treinar os modelos de deep learning mais avançados.

A especificidade de cada língua torna o trabalho com linguagem natural desafiador e ainda cheio de desafios que após serem superados abrirá caminho para o desenvolvimento de muitas aplicações com potencial de transformar a maneira como lidamos com tecnologia.

Conclusão

O processamento de linguagem natural é está área que mescla computação, IA e linguísticas, cheia de desafios, com aplicações que fazem parte do nosso dia a dia e um mundo de possibilidades com potencial de transformar o modo como usamos celular, computador e outros tecnologias. Gostou deste artigo e quer conhecer mais sobre PLN? Aqui na Alura temos muito conteúdo para você:

Corretor ortográfico com nlp

Modelos de linguagem

Análise de sentimento

Para ter acesso a conteúdos interessantes sobre ciência de dados, me siga no Twitter @tgcsantos, sempre tem conteúdo interessante rolando por lá.

Artigos de Tecnologia e Negócios > Data Science

Cursos profissionais de Data Science é na Alura, comece agora!

  • 1233 cursos

    Cursos de programação, UX, agilidade, data science, transformação digital, mobile, front-end, marketing e infra.

  • Certificado de participação

    Certificado de que assistiu o curso e finalizou as atividades

  • App para Android e iPhone/iPad

    Estude até mesmo offline através das nossas apps Android e iOS em smartphones e tablets

  • Projeto avaliado pelos instrutores

    Projeto práticos para entrega e avaliação dos professores da Alura com certificado de aprovação diferenciado

  • Acesso à Alura Start

    Cursos de introdução a tecnologia através de games, apps e ciência

  • Acesso à Alura Língua

    Reforço online de inglês e espanhol para aprimorar seu conhecimento

Premium

  • 1233 cursos

    Cursos de programação, UX, agilidade, data science, transformação digital, mobile, front-end, marketing e infra.

  • Certificado de participação

    Certificado de que assistiu o curso e finalizou as atividades

  • App para Android e iPhone/iPad

    Estude até mesmo offline através das nossas apps Android e iOS em smartphones e tablets

  • Projeto avaliado pelos instrutores

    Projeto práticos para entrega e avaliação dos professores da Alura com certificado de aprovação diferenciado

  • Acesso à Alura Start

    Cursos de introdução a tecnologia através de games, apps e ciência

  • Acesso à Alura Língua

    Reforço online de inglês e espanhol para aprimorar seu conhecimento

12X
R$75
à vista R$900
Matricule-se

Premium Plus

  • 1233 cursos

    Cursos de programação, UX, agilidade, data science, transformação digital, mobile, front-end, marketing e infra.

  • Certificado de participação

    Certificado de que assistiu o curso e finalizou as atividades

  • App para Android e iPhone/iPad

    Estude até mesmo offline através das nossas apps Android e iOS em smartphones e tablets

  • Projeto avaliado pelos instrutores

    Projeto práticos para entrega e avaliação dos professores da Alura com certificado de aprovação diferenciado

  • Acesso à Alura Start

    Cursos de introdução a tecnologia através de games, apps e ciência

  • Acesso à Alura Língua

    Reforço online de inglês e espanhol para aprimorar seu conhecimento

12X
R$100
à vista R$1.200
Matricule-se

Max

  • 1233 cursos

    Cursos de programação, UX, agilidade, data science, transformação digital, mobile, front-end, marketing e infra.

  • Certificado de participação

    Certificado de que assistiu o curso e finalizou as atividades

  • App para Android e iPhone/iPad

    Estude até mesmo offline através das nossas apps Android e iOS em smartphones e tablets

  • Projeto avaliado pelos instrutores

    Projeto práticos para entrega e avaliação dos professores da Alura com certificado de aprovação diferenciado

  • Acesso à Alura Start

    Cursos de introdução a tecnologia através de games, apps e ciência

  • Acesso à Alura Língua

    Reforço online de inglês e espanhol para aprimorar seu conhecimento

12X
R$120
à vista R$1.440
Matricule-se
Procurando planos para empresas?

Acesso completo por 1 ano

Estude 24h/dia onde e quando quiser

Novos cursos todas as semanas