Vertex AI: dominando Machine Learning sem código

Conhecendo a ferramenta - Apresentação

Olá! Meu nome é Allan Spadini, e vou acompanhar você neste curso sobre Vertex AI, ideal para quem deseja aprender a criar seus próprios modelos de machine learning sem necessidade de códigos.

Audiodescrição: Allan se descreve como um homem branco, com cabelos lisos castanhos e olhos castanhos. Ele veste uma camisa preta e está no estúdio da Alura sentado em uma cadeira preta, com uma parede clara ao fundo iluminada em gradiente de verde e roxo, uma estante preta com quadros e enfeites à esquerda do instrutor, e uma planta à direita.

O que vamos aprender?

Ao longo deste curso, vamos estudar diversos problemas de machine learning relacionados a uma empresa do setor alimentício. Vamos trabalhar na construção de problemas de classificação, problemas de regressão, além de aprender a lidar com dados de texto e de imagens.

Pré-requisitos

Não há pré-requisitos para acompanhar este curso, mas se você já tem conhecimento na área de dados e um pouco de machine learning, irá aproveitar ao máximo o conteúdo disponível.

Esperamos te encontrar nos próximos vídeos. Até lá!

Conhecendo a ferramenta - Criando o projeto

Imagine que somos cientistas de dados, trabalhando para uma grande empresa do setor alimentício. Esta empresa atua em diversos segmentos desse setor, desde a colheita até a atuação em restaurantes.

Atualmente, a empresa está passando por uma transformação digital rápida. Portanto, queremos incorporar o machine learning e a inteligência artificial (IA) nesse contexto.

Criando o projeto

O primeiro problema que estamos tentando resolver é a questão da separação de tâmaras, que são frutas. Nossa empresa colhe várias tâmaras de tipos diferentes e tem uma máquina que faz uma série de medidas nessas tâmaras, como o comprimento e a esfericidade. Queremos classificar e separar as diferentes espécies de tâmaras. Sendo assim, precisaremos aprender a resolver esse problema.

Para solucionar esse tipo de problema, vamos utilizar dados e uma plataforma que cria um modelo de machine learning capaz de fazer a separação das frutas em diferentes espécies, com base nesses dados. A plataforma que vamos usar é o Google Cloud, mais especificamente com a Vertex AI.

Acessando o Google Cloud

Para começar a trabalhar com o Google Cloud, precisamos acessar a página e realizar a atividade disponível nesta aula onde fazemos o login na plataforma.

Criando um novo projeto

Feito isso, precisaremos criar um projeto dentro do Google Cloud. Na parte superior da plataforma, é possível visualizar o nome Google Cloud no canto esquerdo, e à direita dele, o nome de um projeto. Para você, pode estar aparecendo como "Meu primeiro projeto" ("My first project").

Clicando no nome do projeto, surge uma janela onde podemos selecionar nossos projetos dentro do Google Cloud. Nesse caso, queremos criar um novo projeto. Portanto, vamos clicar em "Novo Projeto" no canto superior direito. Na janela que aparece, vamos dar um nome para o projeto: empresa-alimentos.

Poderíamos escolher o nome de uma organização, mas não é necessário.

Após definir o nome, vamos clicar em "Criar" na parte inferior.

Ajustando o faturamento

Com o projeto criado, temos acesso para utilizar todos os serviços do Google Cloud dentro desse projeto. No entanto, nossa empresa é muito preocupada com a questão de faturamento.

Estamos começando no Google Cloud e precisamos ajustar esse faturamento, para termos um alerta de faturamento e evitar um custo muito elevado. Para isso, clicando no menu hambúrguer, no canto superior esquerdo, basta procurar a opção "Faturamento".

No Google Cloud, podemos criar uma opção de faturamento. No lado direito, aparece um menu com algumas informações e sugestões, caso você queira aprender mais sobre o Google Cloud.

Mais abaixo, encontramos algumas verificações de integridade do faturamento. Podemos perceber que há 1 lâmpada amarela acesa, indicando que há algum tipo de problema ou recomendação que o Google faz. Vamos clicar em "Ver todas as verificações de integridade" abaixo.

Na página aberta, é informado que não temos um orçamento. Sendo assim, vamos criar um orçamento para nosso projeto. Clicando em "Criar orçamento", em "Escopo", podemos definir um nome para o orçamento; vamos nomeá-lo como orcamento. Podemos seguir com as opções padrão para esse orçamento e clicar em "Próxima" ao final dessa seção.

Na segunda seção ("Valor"), podemos especificar um valor desejado. Vamos definir um valor de R$ 50 e clicar em "Próxima" novamente.

Na seção seguinte, chamada "Ações", teremos uma série de alertas, onde serão definidos alertas que serão enviados por e-mail, com base no orçamento do projeto. Como definimos um valor relativamente baixo, de R$ 50, ele vai enviar um e-mail quando o gasto chegar a R$ 25, R$ 45 e R$ 50.

Está selecionada a opção de enviar alertas por e-mail aos administradores do projeto e aos usuários de faturamento. Com isso, basta clicar em "Concluir" e teremos o orcamento criado. Dessa forma, temos tudo pronto para iniciar o projeto.

Acessando o Vertex AI

Definido o alerta de faturamento, podemos começar com o Vertex AI. Ao verificar os produtos fixados no Google Cloud no menu lateral à esquerda, onde aparecem os principais produtos do Google Cloud, o Vertex AI não aparece. Podemos acessar "Produtos e soluções > Todos os produtos" para encontrar todas as opções de produtos do Google Cloud.

No menu à esquerda, podemos acessar a opção "Inteligência artificial". Quando clicamos nesse link, a primeira opção que aparece é o Vertex AI. Se clicarmos em "Fixar no seu menu", que aparece do lado esquerdo do nome "Vertex AI", conseguimos fixá-lo no menu.

De volta aos produtos fixados, agora na última opção aparece o Vertex AI. Clicando em "Vertex AI > Painel", aparecerá o Vertex AI.

Conclusão

Já temos tudo definido para o nosso projeto! No próximo vídeo, vamos conseguir usar efetivamente o Vertex AI para começar a treinar nosso modelo de machine learning. Até o próximo vídeo!

Conhecendo a ferramenta - Entendendo a classificação

No vídeo anterior, iniciamos no Google Cloud, criamos nosso próprio projeto, e agora trazemos um ponto de atenção: é necessário se atentar à parte superior do Google Cloud, ao projeto que está selecionado. A ideia é que esteja selecionado o projeto empresa-alimentos.

Entendendo a classificação

Ativando a API do Vertex AI

Com o projeto empresa-alimentos selecionado, quando iniciamos no painel do Vertex AI, ele pede para ativar a API do Vertex AI (Vertex AI API). Para isso, basta clicar no botão "Ativar".

Se a API não estiver ativa para você, não tem problema, pois quando iniciarmos o projeto e começarmos a subida dos dados para ele, será solicitado que ative de qualquer forma.

Feito isso, chegaremos na tela inicial do Vertex AI. Neste vídeo, vamos aprender a treinar o modelo de machine learning, mas o que precisamos para fazer isso? Sempre precisamos de dados.

Criando um conjunto de dados

Vamos subir e criar um conjunto de dados no Vertex AI. Com o Vertex AI selecionado, visualizaremos no menu lateral esquerdo as diversas opções de serviços que temos dentro da ferramenta.

Neste curso, vamos trabalhar com a opção de "Treinamento" com AutoML. Com essa opção de treinamento, precisamos subir os dados e criar um conjunto de dados na opção "Conjuntos de dados".

Ao acessar essa opção, é solicitado onde vamos começar a trabalhar. No momento, está selecionada a região em que o instrutor trabalha, que é southamerica-east1, ou seja, São Paulo. Podemos selecionar outras regiões, mas começaremos trabalhando em São Paulo.

Na parte superior da seção "Conjuntos de dados", há a opção "Criar". Vamos clicar nesse botão, e ao fazer isso, precisamos selecionar um nome para esse conjunto de dados, nesse caso, tamara.

Além disso, precisamos selecionar o tipo de dados e o objetivo. O tipo de dado que vamos trabalhar, nesse primeiro caso, é uma tabela de dados, igual a uma tabela de Excel.

Inclusive, podemos arrastar o arquivo desejado da pasta na qual trabalhamos. Nesse caso, vamos acessar "dados", onde podemos verificar o tipo de dado. Vamos abrir, por exemplo, o arquivo tamara.csv.

Você pode abrir esse dado no bloco de notas, por exemplo, mas no nosso caso vamos usar o VS Code, um editor utilizado para programação, mas que pode, com certeza, abrir esse dataset.

Esse dado que vamos passar é um arquivo CSV onde cada coluna representa uma informação sobre as tâmaras: a área, o perímetro, o maior eixo, o menor eixo, e assim por diante.

A última coluna do dataset se chama Class, que contém justamente o tipo de tâmara que queremos classificar. Nos dados referentes a essa coluna, encontramos os diversos tipos de tâmara, como BERHI, DEGLET, entre outros.

Portanto, temos uma tabela de dados para subir. Logo, vamos acessar a aba "Tabular", onde temos duas opções de escolha: "Regressão/classificação"; e "Previsão". Vamos escolher a primeira opção, já que queremos classificar as tâmaras em tipos de tâmara distintos.

Vamos clicar no botão "Criar", com a região southamerica-east1 selecionada. Esse processo de criação pode demorar um pouco, porém, observe que mostramos o dataset no nosso computador, mas não subimos esse dataset. Ele apenas cria a instância relacionada a esse conjunto de dados. Vamos precisar subir essa informação para o Vertex AI de alguma forma.

Adicionando dados ao conjunto de dados

Criamos o conjunto de dados, mas como dissemos anteriormente, não temos o dataset ainda na plataforma. Apenas fizemos o espaço para um dataset na plataforma do Vertex AI. Então, vamos adicionar dados ao conjunto de dados. É dito justamente isso logo na primeira página após a criação.

Se descermos nessa tela, será solicitado que você selecione uma fonte de dados. Essa fonte de dados pode ser um arquivo CSV, que pode ser subido do nosso computador; pode ser um arquivo em outro serviço do Google Cloud, que é o BigQuery, ou um arquivo CSV do Cloud Storage, outro serviço para armazenar dados no Google Cloud.

Já mostramos o arquivo no computador, então a primeira opção que vamos seguir é subir o arquivo do computador para o Google Cloud. Portanto, marcaremos a caixa de seleção "Fazer upload de arquivos CSV do seu computador".

Para isso, vamos descer a tela e clicar em "Selecionar arquivos". Vamos buscar no computador onde está o arquivo: no nosso caso, vamos até a pasta "dados" e selecionar o arquivo tamara.csv.

Criando um novo bucket

Em seguida, é solicitado o caminho onde deve ser salvo o conjunto de dados dentro do Google Cloud. Vamos clicar em "Procurar" e voltar no projeto do Google Cloud para criar um novo bucket.

Basicamente, não queremos criar o conjunto em dado-vertex que já tínhamos no Google Cloud, então clicamos na seta para a esquerda para voltar nos diretórios, e clicamos no ícone de "Criar novo bucket", no canto superior direito. O objetivo é criar um bucket de dados dentro do Cloud Storage do Google Cloud, e é isso que será feito nesse processo.

Precisamos dar um nome para esse bucket; chamaremos ele de empresa-alimentos e depois clicaremos em "Continuar". Em "Tipo de local", está selecionada a opção "Multi-region", que seria para criar um bucket em várias regiões dos Estados Unidos, mas podemos selecionar outras regiões.

É interessante que estejamos o mais próximo possível da nossa região, então podemos tanto deixar us em "Multi-region", quanto selecionar uma região específica em "Region". Nesse caso, vamos procurar a região em que o instrutor trabalha, que é a região de São Paulo (southamerica-east1).

Preferimos essa opção, porque o dataset e o projeto estarão na região de São Paulo.

Feito isso, podemos clicar em "Continuar". Nas seções seguintes, seguiremos com as opções padrão e depois clicaremos em "Continuar > Continuar > Criar".

Será aberta uma janela indicando para aplicar a prevenção do acesso público nesse bucket. Podemos manter essa opção marcada e clicar em "Confirmar". Ao final, será criado o bucket no Vertex AI.

Treinando um novo modelo

Com isso, a ferramenta vai colocar o dataset que vamos subir dentro desse bucket empresa-alimentos. Vamos clicar em "Continuar" ao final da página.

Após isso, será identificado o dataset e suas diversas colunas, e na parte superior direita, aparece a opção "Treinar novo modelo". Esse é o objetivo deste vídeo: treinar o modelo de machine learning.

Ao clicar nessa opção, aparece uma janela, onde o primeiro campo de preenchimento é o "Objective" ("Objetivo"). Nosso objetivo é a opção de classificação ("Classification").

Abaixo na tela, encontramos a opção de fazer um treinamento personalizado, mas neste curso, vamos optar sempre pela opção de AutoML. Basicamente, o Vertex AI fará todo o processo para nós; todas as etapas de treinamento e de testagem serão feitas pelo Vertex AI.

Em seguida, teremos a opção de "Treinar novo modelo" ou "Treinar nova versão". Se já estivéssemos treinando, refinando um modelo criado, utilizaríamos essa opção, mas vamos treinar o novo modelo do zero.

Dando prosseguimento, aparece uma opção obrigatória: precisamos selecionar uma coluna-alvo (Target column). Essa coluna-alvo é a coluna de classificação, a coluna que tem as diversas opções de tâmaras que queremos classificar. Vamos selecionar essa coluna, que é a Class.

Nas opções avançadas, aparecem algumas opções como, por exemplo, a ordem aleatória, que é a forma como serão divididos os dados. Ele vai utilizar 80% dos dados para o treinamento, 10% para fazer uma validação, e outros 10% para testar se o modelo de machine learning funciona bem.

Vamos manter essa opção selecionada, clicar em "Continuar", e na sequência, basta selecionar as opções padrão. Vão aparecer opções de treinamento, como selecionar o tipo de dado que temos em cada coluna, mas normalmente, a opção "Automático" funciona muito bem.

Se quisermos identificar que temos dado de "Texto" ou dado "Categórico", por exemplo, faríamos essa escolha na coluna "Transformação". Porém, não precisamos, porque ele faz isso de forma automática.

Por fim, chegamos à seção "Computação e preços". Ele fala na parte superior da tela que podemos usar 1 node por hora no mínimo. Como temos um custo nos processos do Vertex AI, vamos utilizar essa opção de 1 node hour. Ele pode utilizar mais de um nodo para resolver esse processo de treinamento.

Dito isso, o seu processo de treinamento pode demorar mais de uma hora. No entanto, sempre escolhemos o mínimo, já que o nosso processo tem um custo. Feito isso, podemos clicar em "Iniciar treinamento".

Conclusão

Esse treinamento demora bastante tempo, já que o Vertex AI fará vários testes em cima do dataset. Assim que o modelo estiver treinado, nós retornamos e, no próximo vídeo, vamos verificar os resultados desse treinamento. Até lá!

Sobre o curso Vertex AI: dominando Machine Learning sem código

O curso Vertex AI: dominando Machine Learning sem código possui 127 minutos de vídeos, em um total de 47 atividades. Gostou? Conheça nossos outros cursos de IA para Dados em Inteligência Artificial, ou leia nossos artigos de Inteligência Artificial.

Matricule-se e comece a estudar com a gente hoje! Conheça outros tópicos abordados durante o curso:

• Conhecendo a ferramenta
• Previsão com modelos treinados
• Treinamento com dados no formato de texto
• Identificação em imagens
• Obtendo respostas em tempo real