No vídeo anterior, iniciamos no Google Cloud, criamos nosso próprio projeto, e agora trazemos um ponto de atenção: é necessário se atentar à parte superior do Google Cloud, ao projeto que está selecionado. A ideia é que esteja selecionado o projeto empresa-alimentos.
Entendendo a classificação
Ativando a API do Vertex AI
Com o projeto empresa-alimentos selecionado, quando iniciamos no painel do Vertex AI, ele pede para ativar a API do Vertex AI (Vertex AI API). Para isso, basta clicar no botão "Ativar".
Se a API não estiver ativa para você, não tem problema, pois quando iniciarmos o projeto e começarmos a subida dos dados para ele, será solicitado que ative de qualquer forma.
Feito isso, chegaremos na tela inicial do Vertex AI. Neste vídeo, vamos aprender a treinar o modelo de machine learning, mas o que precisamos para fazer isso? Sempre precisamos de dados.
Criando um conjunto de dados
Vamos subir e criar um conjunto de dados no Vertex AI. Com o Vertex AI selecionado, visualizaremos no menu lateral esquerdo as diversas opções de serviços que temos dentro da ferramenta.
Neste curso, vamos trabalhar com a opção de "Treinamento" com AutoML. Com essa opção de treinamento, precisamos subir os dados e criar um conjunto de dados na opção "Conjuntos de dados".
Ao acessar essa opção, é solicitado onde vamos começar a trabalhar. No momento, está selecionada a região em que o instrutor trabalha, que é southamerica-east1, ou seja, São Paulo. Podemos selecionar outras regiões, mas começaremos trabalhando em São Paulo.
Na parte superior da seção "Conjuntos de dados", há a opção "Criar". Vamos clicar nesse botão, e ao fazer isso, precisamos selecionar um nome para esse conjunto de dados, nesse caso, tamara.
Além disso, precisamos selecionar o tipo de dados e o objetivo. O tipo de dado que vamos trabalhar, nesse primeiro caso, é uma tabela de dados, igual a uma tabela de Excel.
Inclusive, podemos arrastar o arquivo desejado da pasta na qual trabalhamos. Nesse caso, vamos acessar "dados", onde podemos verificar o tipo de dado. Vamos abrir, por exemplo, o arquivo tamara.csv.
Você pode abrir esse dado no bloco de notas, por exemplo, mas no nosso caso vamos usar o VS Code, um editor utilizado para programação, mas que pode, com certeza, abrir esse dataset.
Esse dado que vamos passar é um arquivo CSV onde cada coluna representa uma informação sobre as tâmaras: a área, o perímetro, o maior eixo, o menor eixo, e assim por diante.
A última coluna do dataset se chama Class, que contém justamente o tipo de tâmara que queremos classificar. Nos dados referentes a essa coluna, encontramos os diversos tipos de tâmara, como BERHI, DEGLET, entre outros.
Portanto, temos uma tabela de dados para subir. Logo, vamos acessar a aba "Tabular", onde temos duas opções de escolha: "Regressão/classificação"; e "Previsão". Vamos escolher a primeira opção, já que queremos classificar as tâmaras em tipos de tâmara distintos.
Vamos clicar no botão "Criar", com a região southamerica-east1 selecionada. Esse processo de criação pode demorar um pouco, porém, observe que mostramos o dataset no nosso computador, mas não subimos esse dataset. Ele apenas cria a instância relacionada a esse conjunto de dados. Vamos precisar subir essa informação para o Vertex AI de alguma forma.
Adicionando dados ao conjunto de dados
Criamos o conjunto de dados, mas como dissemos anteriormente, não temos o dataset ainda na plataforma. Apenas fizemos o espaço para um dataset na plataforma do Vertex AI. Então, vamos adicionar dados ao conjunto de dados. É dito justamente isso logo na primeira página após a criação.
Se descermos nessa tela, será solicitado que você selecione uma fonte de dados. Essa fonte de dados pode ser um arquivo CSV, que pode ser subido do nosso computador; pode ser um arquivo em outro serviço do Google Cloud, que é o BigQuery, ou um arquivo CSV do Cloud Storage, outro serviço para armazenar dados no Google Cloud.
Já mostramos o arquivo no computador, então a primeira opção que vamos seguir é subir o arquivo do computador para o Google Cloud. Portanto, marcaremos a caixa de seleção "Fazer upload de arquivos CSV do seu computador".
Para isso, vamos descer a tela e clicar em "Selecionar arquivos". Vamos buscar no computador onde está o arquivo: no nosso caso, vamos até a pasta "dados" e selecionar o arquivo tamara.csv.
Criando um novo bucket
Em seguida, é solicitado o caminho onde deve ser salvo o conjunto de dados dentro do Google Cloud. Vamos clicar em "Procurar" e voltar no projeto do Google Cloud para criar um novo bucket.
Basicamente, não queremos criar o conjunto em dado-vertex que já tínhamos no Google Cloud, então clicamos na seta para a esquerda para voltar nos diretórios, e clicamos no ícone de "Criar novo bucket", no canto superior direito. O objetivo é criar um bucket de dados dentro do Cloud Storage do Google Cloud, e é isso que será feito nesse processo.
Precisamos dar um nome para esse bucket; chamaremos ele de empresa-alimentos e depois clicaremos em "Continuar". Em "Tipo de local", está selecionada a opção "Multi-region", que seria para criar um bucket em várias regiões dos Estados Unidos, mas podemos selecionar outras regiões.
É interessante que estejamos o mais próximo possível da nossa região, então podemos tanto deixar us em "Multi-region", quanto selecionar uma região específica em "Region". Nesse caso, vamos procurar a região em que o instrutor trabalha, que é a região de São Paulo (southamerica-east1).
Preferimos essa opção, porque o dataset e o projeto estarão na região de São Paulo.
Feito isso, podemos clicar em "Continuar". Nas seções seguintes, seguiremos com as opções padrão e depois clicaremos em "Continuar > Continuar > Criar".
Será aberta uma janela indicando para aplicar a prevenção do acesso público nesse bucket. Podemos manter essa opção marcada e clicar em "Confirmar". Ao final, será criado o bucket no Vertex AI.
Treinando um novo modelo
Com isso, a ferramenta vai colocar o dataset que vamos subir dentro desse bucket empresa-alimentos. Vamos clicar em "Continuar" ao final da página.
Após isso, será identificado o dataset e suas diversas colunas, e na parte superior direita, aparece a opção "Treinar novo modelo". Esse é o objetivo deste vídeo: treinar o modelo de machine learning.
Ao clicar nessa opção, aparece uma janela, onde o primeiro campo de preenchimento é o "Objective" ("Objetivo"). Nosso objetivo é a opção de classificação ("Classification").
Abaixo na tela, encontramos a opção de fazer um treinamento personalizado, mas neste curso, vamos optar sempre pela opção de AutoML. Basicamente, o Vertex AI fará todo o processo para nós; todas as etapas de treinamento e de testagem serão feitas pelo Vertex AI.
Em seguida, teremos a opção de "Treinar novo modelo" ou "Treinar nova versão". Se já estivéssemos treinando, refinando um modelo criado, utilizaríamos essa opção, mas vamos treinar o novo modelo do zero.
Dando prosseguimento, aparece uma opção obrigatória: precisamos selecionar uma coluna-alvo (Target column). Essa coluna-alvo é a coluna de classificação, a coluna que tem as diversas opções de tâmaras que queremos classificar. Vamos selecionar essa coluna, que é a Class.
Nas opções avançadas, aparecem algumas opções como, por exemplo, a ordem aleatória, que é a forma como serão divididos os dados. Ele vai utilizar 80% dos dados para o treinamento, 10% para fazer uma validação, e outros 10% para testar se o modelo de machine learning funciona bem.
Vamos manter essa opção selecionada, clicar em "Continuar", e na sequência, basta selecionar as opções padrão. Vão aparecer opções de treinamento, como selecionar o tipo de dado que temos em cada coluna, mas normalmente, a opção "Automático" funciona muito bem.
Se quisermos identificar que temos dado de "Texto" ou dado "Categórico", por exemplo, faríamos essa escolha na coluna "Transformação". Porém, não precisamos, porque ele faz isso de forma automática.
Por fim, chegamos à seção "Computação e preços". Ele fala na parte superior da tela que podemos usar 1 node por hora no mínimo. Como temos um custo nos processos do Vertex AI, vamos utilizar essa opção de 1 node hour. Ele pode utilizar mais de um nodo para resolver esse processo de treinamento.
Dito isso, o seu processo de treinamento pode demorar mais de uma hora. No entanto, sempre escolhemos o mínimo, já que o nosso processo tem um custo. Feito isso, podemos clicar em "Iniciar treinamento".
Conclusão
Esse treinamento demora bastante tempo, já que o Vertex AI fará vários testes em cima do dataset. Assim que o modelo estiver treinado, nós retornamos e, no próximo vídeo, vamos verificar os resultados desse treinamento. Até lá!