Pipelines de IA em Cloud: Azure, AWS e GCP

Conhecendo a IA em Cloud - Apresentação do Curso

Boas-vindas e Introdução ao Curso

Olá! Sejam todos bem-vindos ao nosso curso de Pipelines de IA em Cloud. Meu nome é Carlos Alberto Stefano Filho e estarei com vocês ao longo deste curso.

Audiodescrição: Carlos é um homem de pele clara, cabelo curto castanho e olhos castanhos. Ele veste uma camisa azul e está em um ambiente de escritório com uma parede branca ao fundo.

Este primeiro vídeo introdutório tem como objetivo apresentar o desenho do nosso curso, os principais tópicos, nossos objetivos e como vamos caminhar juntos nessa jornada. Nosso objetivo final é operacionalizar a implementação de Pipelines de IA em Cloud.

Ferramentas e Provedores de Cloud

Para isso, existe uma série de ferramentas que podemos utilizar. Neste curso, vamos focar majoritariamente na Vertex AI da Google Cloud. No entanto, ao final, também mencionaremos algumas outras possibilidades que podemos encontrar na AWS e em ferramentas da Microsoft Azure.

É importante lembrar que os fundamentos dos conteúdos que veremos são transversais, independentemente da ferramenta. Portanto, apesar do foco na Google Cloud, podemos aplicar esses conhecimentos a uma série de outros provedores.

Estrutura do Curso e Conteúdos

Como estão divididas as nossas aulas? Em um primeiro momento, nesta etapa inicial que chamamos de fundamentos, vamos revisar alguns tópicos especiais de Machine Learning (aprendizado de máquina), de inteligência artificial de modo geral, e os primeiros passos na Vertex AI.

Em um segundo momento, com isso um pouco mais bem estruturado, nós vamos passar por algumas implementações básicas de modelagens mais tradicionais de Machine Learning com a Vertex AI e também como operacionalizamos alguns fluxos simples com os modelos grandes de linguagem, os LLMs (Large Language Models), que são tendências mais recentes que observamos crescer no mercado.

Foco em Agentes de IA e Tendências Modernas

Quando concluirmos essa etapa, por volta da Aula 5, nós vamos nos aprofundar nessas tendências, focando na construção de agentes de IA. Discutiremos como essa metodologia dos agentes se diferencia das abordagens mais tradicionais de Machine Learning e dos próprios LLMs, explorando o que há de especial nesses agentes para caracterizá-los como tal e como operacionalizamos essa construção na Vertex AI.

Vamos abordar algumas tendências mais modernas para esses agentes, como a abordagem de RAG (Retrieval Augmented Generation). No final, para concluir, nós vamos integrar todos esses conteúdos discutidos e também mencionar alguns paralelos que encontramos com várias das ferramentas que utilizamos na AWS e na Azure, proporcionando um panorama mais global do que está disponível nos principais provedores do mercado.

Objetivos do Curso

A ideia é que, com tudo isso, consigamos estabelecer dois grandes pilares. De um lado, os fundamentos técnicos e as abordagens com uma base sólida, para que possamos entender o que estamos operacionalizando de fato. De outro, todo o ferramental necessário para colocar em prática.

Vamos começar?

Conhecendo a IA em Cloud - Ferramentas em cloud para IA

Dando boas-vindas e introduzindo o tema

Olá, sejam todos bem-vindos de volta ao nosso curso de Pipelines de IA em Cloud. Vamos dar continuidade discutindo as principais ferramentas e provedores disponíveis no mercado para IA em nuvem, além de explorar por que utilizar essas ferramentas, considerando que existem outras possibilidades.

No final das contas, o que buscamos com a IA é a transformação dos negócios, trazendo mais valor, eficiência e agilidade para os processos. A computação em nuvem oferece vantagens que nos auxiliam nesse processo. Entre essas vantagens, destacamos a escalabilidade sob medida, que permite ajustar conforme a necessidade do momento, possibilitando economia de recursos. A computação em nuvem também facilita o desenvolvimento, com ambientes específicos para machine learning e integrações com serviços e APIs que podemos utilizar em nossos modelos.

Observando tendências em IA na nuvem

Observamos algumas tendências de IA em nuvem, como o surgimento da IA como serviço, ou AI as a Service, que se apoia em pilares como o processamento de linguagem natural. Desde 2018, os modelos grandes de linguagem, os LLMs, têm se destacado por sua capacidade de comunicação humanizada e compreensão de contexto, superando os chatbots mais robotizados. Muitos provedores oferecem a possibilidade de utilizar esses modelos, facilitando a construção de aplicações de maneira simples.

Outra tendência é a arquitetura de agentes, que discutiremos ao longo do curso. Essa arquitetura permite integrações de diferentes modelos e ferramentas, coordenando a lógica de aplicação para o usuário final. Além disso, abordaremos automações e IA generativa. Embora os modelos de base que estudaremos não precisem ser necessariamente generativos, muitos dos nossos trabalhos estão no ramo da IA generativa.

Explorando ferramentas de cloud e provedores

Vamos explorar várias ferramentas de cloud para o desenvolvimento de aplicações nesses âmbitos. Os principais provedores de cloud atualmente são a AWS, a Google Cloud e a Azure da Microsoft. Cada provedor tem suas próprias abordagens para disponibilizar serviços de IA, mas, em essência, encontramos funcionalidades semelhantes entre eles.

Como podemos comparar esses três provedores de serviços em nuvem? A AWS foi uma das pioneiras em nuvem como um todo, oferecendo uma ampla gama de serviços para IA e Machine Learning com alta customização. Um exemplo é o Bedrock, que funciona como um grande marketplace de modelos de base, permitindo que escolhamos o mais adequado para cada caso de uso.

Comparando serviços dos principais provedores

A Google Cloud também tem um foco significativo em modelos pré-treinados, especialmente com os modelos da própria Google, como o Gemini. Eles possibilitam diversas maneiras de realizar ajustes finos desses modelos para diferentes aplicações. A Azure, por sua vez, possui uma forte integração com o ecossistema da Microsoft e oferece algumas soluções low-code.

Como mencionado no vídeo anterior, nosso foco neste curso será a Google Cloud inicialmente, mas também exploraremos as ferramentas dos outros dois provedores, fazendo alguns paralelos.

Destacando serviços específicos de cada provedor

Pensando nos serviços oferecidos, o que encontramos principalmente em cada um? Vale ressaltar que existem muitos outros serviços que merecem ser explorados, mas aqui destacamos apenas alguns. Na Azure, por exemplo, temos o Machine Learning Studio, que é muito focado para pessoas desenvolvedoras e cientistas de dados trabalharem com modelos de Machine Learning. Há uma integração com o serviço da OpenAI.

Na AWS, temos o SageMaker, uma das principais plataformas para Machine Learning. Ele oferece recursos para pipelines de integração, com foco também em pessoas desenvolvedoras e cientistas de dados. Plataformas como o Bedrock trazem o conceito de IA como serviço, oferecendo uma gama de modelos de diferentes provedores, incluindo a própria AWS, para escolhermos e adaptarmos com endpoints facilitados para acessar, fazer prompts e obter respostas.

Explorando a plataforma Google Cloud

Na Google Cloud, destacamos a Vertex AI, uma grande plataforma que centraliza vários modelos de Machine Learning e serviços de IA, desde a criação de pipelines de dados, ingestão e processamento, até a criação de verdadeiros agentes de IA para integrar diferentes aplicações necessárias para nossos negócios. Veremos também o Gemini, como o principal modelo multimodal, que permite ajustes finos de maneira relativamente simples, além de alguns serviços especializados em documentos para toda a arquitetura do RAG. A plataforma AutoML é outra ferramenta interessante, permitindo desenvolver, treinar e testar modelos de Machine Learning de maneira totalmente no-code ou low-code.

Concluindo e preparando para as próximas aulas

Essas são algumas das alternativas que temos nesses três provedores para lidar com modelos de IA de maneira geral. Observamos o surgimento da tendência de IA como serviço, uma combinação que tem se mostrado cada vez mais poderosa e competitiva. Nas próximas aulas, começaremos a explorar isso mais a fundo e colocaremos em prática. Vamos lá?

Conhecendo a IA em Cloud - Explorando ferramentas em cloud

Explorando o console da AWS

Dando continuidade à nossa exploração das ferramentas de cloud, para começarmos a nos familiarizar, este é o console da AWS. Os dois principais serviços que comentamos no último vídeo foram o Bedrock e o SageMaker. Vamos entrar no Bedrock para explorar um pouco. Ele apresenta um catálogo de modelos, suportando mais de 100 modelos de base de provedores líderes da indústria.

Podemos ver alguns destaques e filtrar diferentes provedores, como AI21 Labs, a própria Amazon, Anthropic, Cohere, DeepSeek, entre outros. É possível filtrar por modalidades, incluindo modelos multimodais, ou escolher um foundation model especializado em áudio, embeddings ou dados de texto. Há uma variedade de opções serverless, permitindo criar endpoints para acessar esses modelos e integrá-los em diferentes aplicações.

Comparando provedores de serviços de IA

Os provedores, em geral, oferecem ferramentas semelhantes para realizarmos essas integrações. Por exemplo, na Google Cloud, mencionamos a Vertex AI. Podemos acessar a Vertex AI, onde encontramos grupos de modelos, como os da DeepSeek, os modelos do Gemini e os foundation models.

Diferentes parceiros, como AWS, Anthropic, Meta e Hugging Face, oferecem soluções similares. Na Azure, por exemplo, temos o AI Foundry, que é conhecido como a fábrica de agentes. Podemos acessar a documentação para obter mais informações sobre isso. A Azure também disponibiliza uma série de foundation models (modelos de base) e uma oferta unificada de plataforma como serviço, além de operações corporativas de IA.

Considerando custos e créditos iniciais

É importante lembrar que muitos desses provedores permitem testar várias funcionalidades. Ao criar uma nova conta, podemos ter acesso a um nível de serviços gratuitos ou a alguns créditos para serem consumidos na cloud (nuvem). É essencial estar atento aos serviços gratuitos incluídos para não ultrapassar o orçamento e monitorar sempre os custos. Todas as ferramentas geralmente possuem funcionalidades para definir orçamentos e alertas, evitando que os custos saiam do controle.

Pode ser vantajoso, por exemplo, criar uma conta na Google Cloud para acompanhar as atividades do curso. A Google Cloud oferece 300 dólares em créditos iniciais para serem utilizados nas atividades do curso.

Preparando para a prática

Na próxima aula, começaremos a aplicar o conhecimento na prática e a explorar algumas funcionalidades.

Sobre o curso Pipelines de IA em Cloud: Azure, AWS e GCP

O curso Pipelines de IA em Cloud: Azure, AWS e GCP possui 234 minutos de vídeos, em um total de 71 atividades. Gostou? Conheça nossos outros cursos de IA para Dados em Inteligência Artificial, ou leia nossos artigos de Inteligência Artificial.

Matricule-se e comece a estudar com a gente hoje! Conheça outros tópicos abordados durante o curso:

• Conhecendo a IA em Cloud
• Arquitetura de Pipelines de IA e automação com Vertex AI
• Machine Learning com Vertex AI
• BigQuery e Feature Store
• Modelos fundacionais e LLMs (Large Language Models) com Vertex AI
• Agentes de IA
• RAG: Retrieval Augmented Generation
• Outras possibilidades em Cloud: AWS Bedrock e Azure OpenAI