Arquiteturas RAG com LLMs: embeddings, busca semântica e criação de agentes com LangChain

Fundamentos de LLMs e Motivação para o RAG - Introdução

Apresentando os instrutores

Olá! Meu nome é Lucas Mendes, e serei o instrutor deste curso de Hag Foundations com Neng Chen.

Audiodescrição: Lucas é um homem de pele parda, com cabelo preto e curto, penteado para o lado. Ele usa óculos, não possui barba, veste uma camisa social azul e está em um ambiente com uma parede iluminada em tons de azul e roxo ao fundo. À sua esquerda, há uma estante com itens decorativos.

Sou professor e palestrante sobre inteligência artificial e agentes inteligentes generativos. Apoio empresas na construção de soluções personalizadas, incluindo a automatização de processos com agentes de IA.

Introduzindo o curso e seus objetivos

Este curso é destinado a pessoas que desejam resolver problemas e superar a falta de contexto dos LLMs, utilizando a técnica do HAG, Retrieval Argument Generation (Geração de Argumentos de Recuperação), para ampliar o contexto e melhorar as respostas dos LLMs, incorporando contextos externos.

Ao longo deste curso, nós abordaremos temas como Vector Store (Armazenamento Vetorial), Embeddings (Incorporação de Dados), Chunks (Fragmentos), e como incluir metadados, tudo isso orquestrado pela LangChain. Além disso, utilizaremos alguns projetos práticos, como criar chats inteligentes para responder a regras de futebol, chats inteligentes para responder sobre bulas de remédios em uma determinada farmácia, e também criaremos um chat para responder dúvidas de uma determinada empresa, apoiando o setor de RH para fornecer essas respostas aos nossos colaboradores.

Convidando para a participação e interação

Durante todo o curso, nós orquestraremos o HAG utilizando a ferramenta LangChain. Se você se interessou por esta rápida introdução sobre HAG, esperamos você neste curso, onde aprofundaremos ainda mais em como realizar HAG com documentos, extraindo o máximo do potencial dos dados para ampliar as respostas dos nossos LLMs.

Esperamos você aqui neste curso, onde faremos essa trilha juntos. E, claro, se você tiver alguma dúvida, basta nos contatar através do Discord ou do fórum do curso. Vamos aprender juntos?

Fundamentos de LLMs e Motivação para o RAG - Conceitos de LLM

Explorando o avanço da inteligência artificial

É incrível notarmos em que ponto estamos em relação à tecnologia e o que ela consegue nos proporcionar no que diz respeito à inteligência artificial. Quando falamos de inteligência artificial, é inevitável associarmos o poder da IA aos grandes modelos de linguagem, ou LLMs (Large Language Models). Os LLMs são um grande conjunto de contextos, informações e dados que nos possibilitam consultas rápidas e acesso à integração e interação com as máquinas de forma ágil, proporcionando uma percepção ainda maior de inteligência das máquinas.

Há anos, quando falávamos sobre o poder das máquinas, era algo praticamente restrito a filmes e à imaginação: interagir com as máquinas através de uma linguagem humana, uma linguagem natural. Hoje, vivemos essa realidade que antes era apenas fictícia. Estamos imersos nesse universo e, através de um celular, computador ou navegador, temos todo esse poder na palma das mãos. É isso que chamamos de LLMs, ou grandes modelos de linguagem, onde não precisamos nos comunicar com as máquinas por meio de uma linguagem de programação, mas sim através de áudio, texto ou fala.

Discutindo a evolução e a competição entre modelos de linguagem

Esses modelos ganharam força e notoriedade com o surgimento do chat GPT, desencadeando uma sequência de novos modelos, novas empresas e uma corrida tecnológica para ver qual modelo tem a melhor performance, inteligência e capacidade. Hoje, podemos escolher entre diversos modelos, sejam open source ou pagos, como OpenAI, Gemini e Copilot. Tudo isso está muito inserido em nosso contexto, e queremos aprofundar um pouco mais sobre o que são esses modelos e de onde vem essa inteligência.

Quando falamos de LLMs ou inteligência artificial generativa, como Copilot, Gemini e OpenAI, a percepção é de que as máquinas agora conseguem nos entender e estão muito mais próximas de nós. A grande questão que surge é: de onde vem esse poder das máquinas para ter essa capacidade de compreensão de contexto e nos responder de forma coerente?

Explicando a arquitetura dos grandes modelos de linguagem

Queremos mostrar agora, através de um slide, algumas informações extremamente importantes que servem como pilares para entender o que é um grande modelo de linguagem ou LLM. Um LLM é uma grande arquitetura capaz de entender um input, um texto, e, através de uma vasta gama de informações e dados, com bilhões ou trilhões de parâmetros, processar essas informações. Essas informações são encapsuladas dentro dos LLMs, que são grandes modelos de linguagem, contendo bilhões ou trilhões de dados. Elas são treinadas para serem capazes de receber um input, realizar uma pesquisa dentro dessa quantidade de dados e projetar a próxima palavra, texto ou frase.

Quando analisamos a estrutura desse grande modelo, podemos compará-lo a um carro chamado LLM. Dentro dele, há um grande algoritmo, uma arquitetura que faz projeções de palavras. Para realizar essas projeções de forma coerente, utiliza-se a arquitetura transformer, que possui camadas de encoder e decoder, além de redes de atenção. Com isso, o LLM consegue entender o contexto de forma mais semântica e associativa, não apenas palavra por palavra, mas através do contexto.

Destacando a importância do contexto nos LLMs

Por exemplo, se dissermos "Lucas está próximo do ponto", a máquina consegue entender se é um ponto que é uma marca na parede ou um ponto de ônibus, entre outras possibilidades. A máquina tem essa percepção não através de palavras isoladas, mas através do contexto.

A palavra "contexto" nunca esteve tão em evidência quanto nos dias atuais, pois é através dele que a máquina consegue fazer projeções assertivas. Quando solicitamos algo a uma LLM (Large Language Model ou Modelo de Linguagem Grande), como uma receita de bolo de cenoura, ela não nos entrega uma resposta sobre a Copa do Mundo ou algo que não tenha relação com o que foi solicitado. O que faz as máquinas responderem de forma coerente é a capacidade da arquitetura transformers de entender o contexto por meio de suas redes neurais, camadas de atenção, encoders e decoders. A LLM é essa rede, essa arquitetura capaz de entender a entrada, compreender o contexto, fazer comparações dentro de sua base de dados ou entre a quantidade gigantesca de parâmetros, e gerar uma resposta coerente com o que foi entendido. Isso é o que chamamos de contexto.

Explorando as capacidades e limitações dos LLMs

Esse é o poder dos LLMs. Através deles, solicitamos a criação de prompts, redação de textos ou códigos em linguagem de programação, redação e correção de e-mails, e esclarecimento de dúvidas. Podemos pedir sugestões de ideias e explorar cada vez mais o mundo dos LLMs, que nos traz a sensação de uma inteligência avançada por trás das máquinas. Essa inteligência são os LLMs. Estamos vivendo uma era de crescimento cada vez mais inteligente, capaz de gerar prompts, interfaces, códigos, respostas complexas e entender sentimentos. Isso são os LLMs.

No entanto, como toda tecnologia, os LLMs têm suas limitações. Eles são treinados com uma quantidade imensa de informações, mas, em algum momento, se a máquina não conseguir associar uma pergunta aos dados com os quais foi treinada, não conseguirá fornecer uma resposta correta. Se algo importante acontecer no mundo e perguntarmos a um LLM, seja ele open source ou não, ele pode não ter a base de dados atualizada e, portanto, não conseguir responder de forma coerente. Quando a máquina não consegue responder de forma coerente a um prompt, seja porque ainda não viu a informação ou porque o modelo não tem dados suficientes, chamamos isso de alucinações. Alucinações ocorrem quando os LLMs não conseguem identificar o contexto inserido pelo usuário e fornecem respostas ilusórias e sem sentido.

Abordando as objeções e oportunidades de melhoria nos LLMs

Essa falta de contexto e informações gera objeções quanto à aplicabilidade dessa inteligência no mundo dos negócios, por exemplo. Os LLMs são grandes modelos de linguagem, mas não são especialistas nos dados. Eles possuem uma inteligência ampla, mas não conhecem o contexto ou as regras específicas de um negócio. Por exemplo, em uma loja de roupas, o LLM pode saber tudo sobre atendimento, mas não conhece o horário de funcionamento da loja. Ele é generalista, não especializado nos dados.

Isso representa uma objeção significativa. Podemos imaginar um LLM como um grande atendente que não conhece as regras específicas de uma empresa, como a distribuição de cestas de Natal para colaboradores. O LLM pode realizar um atendimento, mas não conhece as regras. Aqui surge a oportunidade de incrementar mais inteligência a esses modelos, conectando nosso conhecimento, regras, informações e dados a eles, tornando-os especialistas nos dados.

Concluindo com perspectivas futuras e próximos passos

Com esse incremento, podemos avançar, evoluir e fornecer mais contexto. O que antes seria inviável para um LLM, como responder sobre as regras de distribuição de cestas de Natal, agora se torna possível ao fornecer mais informações e contexto externo. O LLM poderá indicar quais colaboradores podem retirar a cesta ou quais são as regras específicas da empresa.

Durante este curso, abordaremos como incrementar conhecimento nesses grandes modelos de linguagem. Nos próximos vídeos, exploraremos as tecnologias que podem ser utilizadas para isso. Espero vocês no próximo vídeo. Até lá!

Fundamentos de LLMs e Motivação para o RAG - Fine tuning versus RAG

Explorando o poder dos LLMs

Na aula passada, exploramos o poder dos LLMs (Large Language Models, ou Modelos de Linguagem Grande) e a capacidade que essa tecnologia nos oferece. Através de uma simples pergunta ou prompt, conseguimos nos comunicar com as máquinas, percebendo que elas conseguem nos entender por meio da linguagem natural e demonstram inteligência crescente.

No entanto, ao analisarmos essa ferramenta, percebemos que podemos superar as principais objeções relacionadas a alucinações, falta de contexto e a especialização dos dados dos LLMs. A questão é como transformar um LLM generalista em um LLM especialista em informações específicas para nós.

Interagindo com LLMs de forma generalista

Nesta aula, abordaremos como os LLMs (Large Language Models, ou Modelos de Linguagem Grande) interagem de forma generalista. Essa interação é uma regra para praticamente todos os LLMs, como DeepSeek, OpenAI, Copilot e Grok. O processo começa com uma entrada, que chamamos de prompt (entrada, pergunta ou pedido). O LLM compreende essa solicitação e busca dentro de sua vasta base de informações e parâmetros para associar o contexto da entrada à resposta final.

No entanto, surge a questão: e se o LLM não tiver os dados necessários para gerar uma resposta? Como podemos evoluir com essas objeções? Dois termos são fundamentais nesse contexto: Finetuning (ajuste fino) e RAG (Retrieval-Augmented Generation, ou Geração Aumentada por Recuperação). Vamos explorar brevemente a ideia de Finetuning e comparar com o RAG.

Comparando Finetuning e RAG

O Finetuning envolve retreinar o modelo. É como pegar um modelo open source (código aberto), adicionar nossos dados e treiná-lo novamente. Esse processo envolve questões financeiras, como tempo de processamento, custo de GPUs e infraestrutura. Em vez de construir um modelo do zero, o Finetuning especializa o modelo existente, treinando as últimas camadas da rede neural. Isso permite que o modelo responda com o viés desejado, seja em um contexto jurídico ou de criação de conteúdos.

Por outro lado, o RAG não requer retreinamento do modelo. Em vez disso, permite que o modelo acesse informações externas. O modelo é conectado a uma base de dados, onde estão as informações necessárias para ampliar seu contexto e gerar respostas coerentes. Isso reduz custos de treinamento e tempo de processamento.

Resumindo as abordagens de especialização

Para resumir, o Finetuning treina o modelo com informações adicionais para que ele responda com um viés específico. Já o RAG conecta o modelo a um módulo de informações, permitindo que ele acesse dados externos quando necessário. Isso é útil para manter o conhecimento atualizado e integrar documentos internos.

Concluindo a aula sobre LLMs

Em conclusão, nesta aula, exploramos como ampliar o contexto e o conhecimento dos LLMs, tornando-os especialistas em dados, seja por meio de Finetuning ou RAG. Abordaremos mais sobre o RAG ao longo do curso. Nos vemos nos próximos vídeos. Até lá!

Sobre o curso Arquiteturas RAG com LLMs: embeddings, busca semântica e criação de agentes com LangChain

O curso Arquiteturas RAG com LLMs: embeddings, busca semântica e criação de agentes com LangChain possui 188 minutos de vídeos, em um total de 50 atividades. Gostou? Conheça nossos outros cursos de IA para Dados em Inteligência Artificial, ou leia nossos artigos de Inteligência Artificial.

Matricule-se e comece a estudar com a gente hoje! Conheça outros tópicos abordados durante o curso:

• capitulo