Engenharia de Dados: Data Warehouses Modernos - Snowflake

Entendendo o problema e preparando o ambiente - Apresentação

Apresentando o instrutor e o curso

Olá, muito prazer. Meu nome é Henrique Frizo, sou instrutor na Alura e trabalho com dados há alguns anos. Atuo não apenas como professor, mas também como consultor. Sou certificado pela Microsoft em Power BI e em algumas outras ferramentas da Microsoft. Tenho experiência não apenas com Snowflake, que é a ferramenta com a qual trabalharemos neste curso, mas também com SQL e outras plataformas relacionadas a dados.

Audiodescrição: Henrique é um homem de pele clara, com cabelo e barba. Ele veste uma camiseta preta. Atrás dele, há uma parede branca com luzes azul e rosa refletindo nela.

Explicando o público-alvo e os pré-requisitos

Este curso é direcionado a pessoas que desejam aprender o que e quando o Snowflake pode fazer por nós. É um curso voltado para quem já conhece SQL, portanto, é necessário ter pelo menos o conhecimento básico de SQL, pois utilizaremos essa linguagem durante o curso. Realizaremos algumas consultas, geraremos algumas visualizações e outros comandos que envolvem SQL. Durante o curso, não vamos ler linha por linha juntos; será necessário conhecer essa linguagem.

Neste curso sobre Snowflake, não é necessário ter conhecimento prévio. Trata-se de um curso básico, pensado para pessoas que nunca tiveram contato com essa ferramenta. Aqui, daremos os primeiros passos dentro da plataforma.

Detalhando o conteúdo do curso

Durante o curso, ensinaremos como criar warehouses, esquemas, stagings, tabelas e bases de dados dentro do Snowflake. Faremos isso de maneira a utilizar a menor quantidade possível de dinheiro e créditos. Também abordaremos como criar sua conta na plataforma. Além disso, ensinaremos como aplicar um pipeline de dados, de engenharia de dados, dentro desta incrível plataforma que é o Snowflake.

Destacando o suporte e a interação no curso

Não se esqueça de que este curso segue o padrão da Alura. Isso significa que você terá acesso ao nosso fórum, onde poderá discutir com outras pessoas que também estão fazendo o curso, além de interagir diretamente com nossos professores e assistentes, que estarão disponíveis para ajudar com qualquer dúvida ou problema que você possa ter.

Preparando-se para o aprendizado

Agora, prepare-se: desligue o celular, feche todas as redes sociais, pegue papel, caneta e um café, pois o aprendizado começa agora. Vamos lá?

Entendendo o problema e preparando o ambiente - Configuração inicial do Snowflake

Iniciando a criação da conta na plataforma Snowflake

Antes de começarmos a entender melhor todo o ecossistema que vamos solucionar dentro da ZOOP Megastore, primeiro precisamos iniciar a criação de nossa conta na plataforma Snowflake. Para isso, devemos acessar o site snowflake.com ou simplesmente buscar Snowflake no Google. É muito fácil de encontrar.

Ao entrar para criar a plataforma, aparece diretamente a opção de criar nossa conta. Vamos editar nosso nome e sobrenome. Para isso, é solicitado um e-mail de trabalho, mas não se preocupe, isso não é necessário. Criamos um Gmail apenas para nosso curso, que, de fato, temos aqui: nosso e-mail chamado Snowflake Curso. Isso mostra que com um e-mail do Gmail também podemos criar a conta.

Inserindo informações pessoais e escolhendo opções de conta

Vamos inserir nosso nome, Henrique Frizo, e o e-mail snowflakecurso@gmail.com. Em seguida, será perguntado por que estamos criando a conta. Vamos indicar que somos estudantes explorando o Snowflake, mas também é possível escolher outras opções. Clicamos em continuar sem querer receber notificações do Snowflake, mas, se desejarmos, podemos marcar essa opção.

A primeira coisa a fazer é inserir o nome de nossa escola. Vamos colocar "Alura", mas é possível inserir outro nome, se preferirmos, sem problema algum. Temos diferentes tipos de contas: Standard, Enterprise e Business. Em outro momento, vale a pena debatermos mais sobre isso, mas por enquanto, mantenhamos selecionada a opção Enterprise.

Escolhendo o provedor e a região do servidor

Agora, vamos escolher nosso provedor. O Snowflake, caso não saibamos, não é um produto independente. Atualmente, no momento em que estamos gravando este curso, o Snowflake utiliza outras plataformas de terceiros, como Azure, AWS e GCP (Google Cloud Platform), para armazenar os produtos e dados dos clientes. O Snowflake é, basicamente, uma camada muito bem feita sobre essas plataformas.

Vamos escolher o AWS, pois, se por acaso tivermos algum problema durante o curso, será mais fácil trabalhar lá do que em outras plataformas. Mantemos a AWS, mas se preferirmos outra plataforma, também não há problema. Não mudará muito durante nosso treinamento. Podemos escolher a região onde queremos que nosso servidor esteja. Por padrão, está configurado para São Paulo, mas muitas pessoas usam o de Ohio também. Vamos manter o de São Paulo, não há problema.

Finalizando a criação da conta e verificando o e-mail

Marcamos que lemos e aceitamos os termos e clicamos em iniciar. Em seguida, temos a famosa verificação para confirmar que não somos um robô. Selecionamos as bicicletas e clicamos em avançar. Novamente, bicicletas. Neste caso, parece que houve uma tradução, então motos. Agora, nos pedem para responder algumas perguntas, que recomendamos responder também.

Nosso idioma preferido: vamos colocar SQL e clicar em continuar. Para que vamos usar o Snowflake? Vamos colocar que será basicamente para fazer análise de dados e construir visualizações. Clicamos em enviar. Agora, o ponto importante: será necessário verificar nosso e-mail. Isso é muito bom. O que fazemos? Voltamos e verificamos que já recebemos o e-mail do Snowflake. Podemos clicar para ativar. Nesse momento, seremos redirecionados.

Criando nome de usuário e acessando a plataforma

Agora, é a criação do nosso nome de usuário. Que nome de usuário vamos colocar? Não importa. Vamos colocar, por exemplo, Frizo Henrique Alura. Podemos escolher outro nome, se quisermos. E nossa senha, que pode ser qualquer uma, desde que inclua um caractere especial.

Após fazer essas configurações, clicamos em "Get Started". O sistema processará e nos redirecionará para dentro da plataforma do Snowflake. Vamos clicar para não salvar no momento. Nos pedem para começar explorando algo ou carregando dados. Clicamos no menu inferior direito chamado 'Skip for now'. Assim, temos nossa plataforma Snowflake criada. Ainda precisamos fazer muitas configurações, mas agora será conforme as necessidades da nossa empresa.

Entendendo o problema e preparando o ambiente - Criação do database e estrutura inicial do projeto

Contextualizando o projeto na ZUP Megastore

Para contextualizar um pouco, vamos atuar como consultores em engenharia de dados para uma empresa chamada ZUP Megastore. Esta é uma empresa de varejo que atualmente gerencia seus dados majoritariamente de forma local, ou seja, os armazena em planilhas de Excel e também em seus sistemas ERP. Eles desejam centralizar tudo isso no Snowflake para que possamos preparar esses dados e fornecê-los da melhor maneira possível para a equipe de análise de dados e para as equipes de BI em geral.

A primeira solicitação que recebemos do gerente da ZUP diz o seguinte: "Henrique, a direção decidiu centralizar os dados da empresa no Snowflake, como já havia mencionado antes. Hoje, temos arquivos dispersos em planilhas e diferentes sistemas, como também já mencionei. Precisamos começar organizando o ambiente do zero, de forma estruturada e profissional, porque isso se tornará nosso Data Warehouse oficial." Portanto, eles realmente querem investir nesta plataforma, que é o Snowflake, para deixar de depender de formas pouco organizadas, como Excel ou diversos sistemas.

Explorando a plataforma Snowflake

Para conhecer um pouco o Snowflake e como funciona essa plataforma, ele possui uma hierarquia na qual basicamente teremos nossos warehouses, onde estará o motor que processa as queries que geramos aqui. Trabalharemos majoritariamente com a linguagem SQL, mas em algumas ocasiões também precisaremos usar Python. Não é nada fora do comum, são coisas que realmente usamos no dia a dia.

Dentro desse warehouse, teremos basicamente o projeto, que é onde armazenamos nossos dados. Temos os esquemas, que são basicamente a divisão entre as pastas internas, e os papéis, com os quais determinamos exatamente qual é a funcionalidade e o nível de produção de cada pessoa dentro do nosso Snowflake. Trabalharemos com isso também. São quatro aspectos muito interessantes que exploraremos a fundo daqui em diante.

Iniciando o uso do Snowflake

A primeira coisa é a seguinte: vamos juntos. Estou aqui dentro dos nossos Credits no Snowflake, veja que interessante. Aqui no Snowflake, como já vimos, podemos observar no nosso menu inferior esquerdo que, nesta conta que criamos, temos a opção de usá-la por 30 dias ou 400 créditos de uso. O que isso significa? Como criamos uma conta gratuita, que podemos testar por 30 dias, muitas empresas ou pessoas, se não houvesse limite de crédito, poderiam criar várias contas gratuitas e processar um petabyte de dados no Snowflake dentro desses 30 dias, o que resultaria em prejuízos para a empresa. Portanto, temos 30 dias para usar ou consumir esses 400 créditos.

Não se preocupe, pois dentro do nosso treinamento não vamos usar nenhum dos dois em sua totalidade. Se dedicarmos nosso tempo, é possível concluir todo o treinamento em menos de 30 dias. Além disso, garantimos que não geraremos queries muito pesadas para não consumirmos esses 400 créditos rapidamente. Após o treinamento, a conta continuará conosco, e podemos decidir investir mais dinheiro para continuar nossos estudos ou até mesmo transformar isso em nossa consultoria.

Criando elementos no Snowflake

O primeiro passo agora é o seguinte: precisamos ir ao menu superior esquerdo e clicar no botão de mais. Dentro desse botão, teremos a opção de criar várias coisas. Podemos criar notebooks de Python, apps de Streaming Link, dashboards que também criaremos mais adiante, pois é provável que a empresa nos peça para fazê-los. Temos a opção de criar um arquivo SQL, que antigamente chamávamos de Worksheets de SQL.

Por que isso, professor? Deixe-me abrir aqui quais são os nomes que querem que façamos. Veja que interessante. Já abri uma lista que a equipe da ZUP me enviou para que possamos usá-la aqui dentro. Compreenda que agora esta é nossa folha de programação em SQL. Além disso, gosto de mudar o nome que vem como Untitled, sem título, para algo mais significativo. Faço isso clicando duas vezes e chamando de Resumo. Por que, professor? Basicamente, é uma folha que usarei para criar nossas bases de dados e esquemas. Não precisamos construir um código fluido e contínuo; podemos simplesmente criar, apagar, criar, apagar. Podemos chamá-lo de rascunho ou como preferirmos. Normalmente, quando trabalho em meus projetos de construção de Snowflake, costumo construir dessa maneira.

Executando comandos SQL no Snowflake

Aqui podemos executar a linguagem SQL em sua forma mais pura. Haverá algumas diferenças de sintaxe em relação a alguns SGBD que possamos conhecer, mas sempre mostraremos a forma mais simples de escrever para que possamos aplicar não apenas aqui, mas também em outros projetos em que trabalharmos.

O primeiro passo aqui é entender se já temos um warehouse funcionando dentro do nosso Snowflake. Então, o que fazemos? Entramos com a opção Select e escrevemos Current_Warehouse e executamos. Podemos executar clicando no botão de play.

SELECT CURRENT_WAREHOUSE();

Quando realizamos essa ação, observamos que o output nos informa que o warehouse atual se chama Compute_WH, que é basicamente o warehouse que aparece no canto superior direito. Podemos clicar ali, pois é o warehouse que a própria Snowflake cria para nós. Vamos entender o que significa esse xsmall com o qual trabalharemos em breve na criação do nosso próprio warehouse. Trata-se basicamente da "potência" do nosso warehouse dentro do sistema. Como temos uma conta gratuita, a própria Snowflake nos fornece algo que podemos utilizar sem comprometer a qualidade ou os investimentos da empresa. Temos algumas opções ao lado com as quais trabalharemos futuramente, mas por enquanto, temos nosso próprio warehouse criado pela Snowflake.

Criando e utilizando um novo warehouse

Podemos criar nosso próprio warehouse? Sim, podemos. Vamos apagar o que está aqui e copiar o código necessário, colando-o com "Ctrl+V". Ao longo do treinamento, raramente escreveremos o código juntos, pois isso tornaria o curso tedioso. Escreveremos o código separadamente e o traremos para vocês. Quando estiverem em suas máquinas, pausem o vídeo e façam o mesmo. É importante que escrevam os códigos conosco para aprenderem de forma eficaz.

Utilizamos uma instrução chamada CREATE WAREHOUSE, à qual damos o nome WH_EMPRESA_PROJETO, que representa o warehouse, empresa ou projeto. Podemos até mudar isso para WAREHOUSE para facilitar a lembrança, colocando tudo em maiúsculas. Assim, será mais fácil recordar depois. Definimos o tamanho do nosso warehouse. O que é o auto_suspend? Basicamente, a Snowflake cobra por horas e quantidade de uso. O auto_suspend significa que, se ficarmos 60 segundos sem usar o warehouse, ele será suspenso automaticamente, evitando o consumo contínuo de créditos. O auto_resume significa que, ao executar algum código e usar o warehouse, ele será ativado instantaneamente, sem necessidade de uma instrução de ativação.

CREATE WAREHOUSE WH_EMPRESA_PROJETO
WITH
WAREHOUSE_SIZE = 'XSMALL'
AUTO_SUSPEND = 60
AUTO_RESUME = TRUE;

Executamos o código novamente, e ele nos informa que o warehouse foi criado com sucesso. Agora, precisamos apenas colocá-lo em uso.

USE WAREHOUSE WH_EMPRESA_PROJETO;

Alteramos o nome para wh-underline-zoop, executamos novamente e começamos a trabalhar com esse elemento. Também utilizamos o comando SELECT para verificar qual é o nosso warehouse atual. Antes, estávamos com compute_WH, mas agora, ao executar, veremos que estamos trabalhando com o warehouse WH-ZOOP.

SELECT CURRENT_WAREHOUSE();

Não há problema em continuar trabalhando com o inicial, mas quisemos mostrar alguns códigos SQL para que vejam como criar um warehouse. Com o warehouse criado, podemos clicar no botão no canto superior direito e ver que agora temos o ZOOP. Se não aparecer, atualizamos com F5. Já podemos ver que temos nosso warehouse ZOOP.

Criando a primeira base de dados

Agora, vamos criar nossa primeira base de dados. Para criar uma base de dados, copiamos o código, que é pequeno, e digitamos: CREATE DATABASE DB_ZOOP. Vamos focar em todo o nosso código dessa forma para facilitar a lembrança.

CREATE DATABASE DB_ZOOP;

Executamos, e ele nos informa que a base de dados foi criada com sucesso. Colocamos a base de dados em uso com USE DATABASE e executamos.

USE DATABASE DB_ZOOP;

A sentença foi executada com sucesso, e agora verificamos mostrando nossa base de dados com SHOW DATABASES.

SHOW DATABASES;

Executamos, clicamos no botão de execução, e podemos ver as bases de dados, incluindo a ZOOP.

Se estiverem se perguntando sobre as outras bases de dados, como Snowflake, elas foram criadas automaticamente pela Snowflake quando criamos nossa conta. Isso nos fornece uma estrutura preconfigurada para inserir nossos dados e realizar análises iniciais. Já criamos nossa estrutura inicial na Snowflake, com a criação do warehouse e da base de dados. Criaremos outros mais adiante, mas agora precisamos focar na criação de esquemas.

Sobre o curso Engenharia de Dados: Data Warehouses Modernos - Snowflake

O curso Engenharia de Dados: Data Warehouses Modernos - Snowflake possui 98 minutos de vídeos, em um total de 48 atividades. Gostou? Conheça nossos outros cursos de Engenharia de Dados em Data Science, ou leia nossos artigos de Data Science.

Matricule-se e comece a estudar com a gente hoje! Conheça outros tópicos abordados durante o curso:

• Entendendo o problema e preparando o ambiente
• Ingestão de dados (como os dados chegam de verdade)
• Transformação e modelagem dos dados
• Performance, histórico e boas práticas reais
• Entrega final do projeto e visão profissional