Alura > Cursos de Dados > Cursos de Bancos de Dados & SQL > Conteúdos de Bancos de Dados & SQL > Primeiras aulas do curso BigQuery: consultas e análises para grandes volumes

BigQuery: consultas e análises para grandes volumes

Primeiros passos no BigQuery para analistas - Apresentação

Apresentando o curso e o objetivo central

Olá. Seja muito bem-vinda, muito bem-vindo. Eu fico muito feliz em estar aqui com vocês para ministrar este curso de Google BigQuery para análise de dados.

Ao longo deste curso, vamos trabalhar com uma ideia central para quem atua ou deseja atuar como pessoa analista de dados: utilizar uma base de dados para responder perguntas de negócios. Nossa ferramenta principal será o Google BigQuery.

Contextualizando o BigQuery e a análise de dados

O BigQuery tem ganhado espaço no mercado porque foi projetado para a análise de grandes volumes de dados na nuvem. Ele permite consultar bases volumosas, cruzar informações, criar visões analíticas e preparar dados para relatórios e ferramentas de Business Intelligence (Inteligência de Negócios), sem depender de uma instalação local de banco de dados. Isso representa uma mudança importante. Em bancos tradicionais, costumamos imaginar um banco relacional instalado em um servidor, com tabelas transacionais e uma aplicação gravando dados continuamente. O BigQuery opera de forma distinta: é um serviço gerenciado na nuvem, voltado principalmente para análise. Embora utilize SQL (Linguagem de Consulta Estruturada) como linguagem de consulta, não deve ser entendido como apenas mais um banco relacional. Seu foco está no processamento analítico, na escalabilidade, em consultas sobre grandes volumes e na integração com os ecossistemas de nuvem da Google. Para a análise de dados, isso faz muita diferença.

Na prática, muitas empresas acumulam dados de vendas, clientes, produtos, entregas, campanhas, acessos, logs (registros), atendimentos e diversas outras áreas. O desafio não é apenas armazenar esses dados, mas transformá-los em respostas para perguntas de negócios. Por exemplo:

Exemplificando perguntas de negócio para análise

Todas essas perguntas são típicas do trabalho de uma pessoa analista, e é isso que vamos praticar durante o curso.

Nós vamos usar uma base chamada Suprema Shop, que simula a operação de um comércio eletrônico. Essa base inclui pedidos, clientes, itens de pedidos, produtos e entregas.

Apresentando a base Suprema Shop e o plano de consultas

Com essa base, nós vamos construir consultas que partem de situações simples e avançam para análises mais completas.

Primeiro, vamos conhecer o ambiente do BigQuery e entender como ele se organiza dentro da Google Cloud. Depois, vamos carregar a base com os dados do curso e observar suas tabelas, os campos e os tipos.

Conhecendo o ambiente e evoluindo as consultas

Em seguida, vamos começar com consultas simples, usando SELECT, FROM, LIMIT, filtros, ordenação e selecionando os campos mais importantes para uma determinada pergunta de negócio.

Depois, vamos transformar perguntas de negócio em indicadores. Vamos calcular contagens, faturamento, ticket médio, valores mínimos e máximos. Também vamos segmentar resultados com o GROUP BY e filtrar métricas agregadas usando HAVING.

Na sequência do curso, vamos trabalhar com JOINs (junções). Essa etapa é essencial, porque muitas respostas dependem da combinação de informações que estão em tabelas diferentes. Vamos juntar pedidos com clientes, itens com produtos e pedidos com entregas.

Também vamos falar sobre qualidade e preparação dos dados. Vamos observar, na nossa base de exemplo, textos com variações, campos nulos, duplicidades, datas incoerentes e situações que exigem cuidado antes de entregarmos uma análise.

Mais adiante, vamos criar views (visões) para consultas recorrentes. Isso ajuda bastante a organizar as regras de negócio, reaproveitar consultas e preparar uma visão mais limpa para consumo em relatórios e ferramentas de Business Intelligence (Inteligência de Negócios).

Conectando a rotina analítica e encerrando a introdução

Ao final, vamos concluir o curso conectando tudo isso com uma rotina real da pessoa analista: entender a pergunta, consultar a base, validar os dados, construir indicadores, implementar regras e entregar uma resposta confiável.

O BigQuery é uma ferramenta importante no mercado, porque muitas empresas já trabalham com dados em nuvem e precisam analisar volumes cada vez maiores. Por isso, saber utilizar o BigQuery não é apenas escrever consultas: é compreender como organizar o raciocínio analítico em uma ferramenta feita para escala. E é exatamente esse caminho que vamos percorrer juntos.

Mais uma vez, fico muito feliz por estar aqui com vocês neste curso. Espero que aproveitem bastante, pratiquem junto comigo e utilizem cada vez mais consultas como uma oportunidade de pensar como analista de dados. Obrigado pela sua presença e vejo vocês nos próximos vídeos.

Primeiros passos no BigQuery para analistas - Instalando e configurando o ambiente de trabalho

Apresentando o curso e preparando o ambiente

Seja muito bem-vinde a este curso de Google BigQuery para análise de dados. Antes de iniciar, vamos preparar o ambiente que será utilizado ao longo do curso. A proposta deste vídeo é deixar tudo pronto para que, nos próximos vídeos, nós possamos consultar uma base de dados chamada Suprema Shop, utilizar o BigQuery para responder perguntas de negócio e praticar uma rotina semelhante à de uma pessoa analista de dados.

Antes de começar, vale uma observação importante: o BigQuery não é instalado na máquina local como um banco de dados tradicional. Quando trabalhamos com a linguagem SQL, por exemplo, é comum instalar localmente um servidor de banco de dados, abrir uma ferramenta de administração e conectar no banco que está rodando no computador. No BigQuery, o caminho é diferente. Trata-se de um serviço de análise de dados na nuvem do Google, o Google Cloud (nuvem do Google). Portanto, quando falamos em configurar o ambiente, estamos nos referindo a criar um acesso usando uma conta Google, entrar no Google Cloud, criar um projeto, abrir o BigQuery (serviço de análise de dados do Google Cloud), criar um dataset (conjunto de dados) e carregar os arquivos da base que vamos utilizar no curso.

Seguir este passo é fundamental. Sem a base carregada, as consultas que faremos nos próximos vídeos não trarão os mesmos resultados e a experiência do curso ficará desconectada do que se encontra no dia a dia de trabalho.

Criando uma conta Google para o curso

A primeira necessidade é ter uma conta Google. É possível usar uma conta que já seja utilizada no dia a dia ou criar uma conta específica somente para este curso. Recomendamos fortemente criar uma conta especial apenas para este curso. Por quê? Porque, ao finalizar, basta acessar as configurações do Google e excluir essa conta. Como vamos utilizar o Google Cloud — e, embora seja possível realizar todo o curso sem efetuar nenhum pagamento à nuvem do Google — recomendamos não manter essa conta ativa depois.

Para criar uma nova conta é simples. Acesse a página inicial do Google ou o endereço accounts.google.com e, em vez de informar a conta Google, crie uma nova conta seguindo um wizard (assistente) simples. Crie um endereço de e-mail, defina uma senha, acesse o e-mail para confirmar a criação e, então, utilize essa conta Google para configurar o acesso ao BigQuery pelo Google Cloud.

Iniciando o acesso ao Google Cloud e ativando o teste gratuito

Com a conta criada, vamos acessar o endereço https://cloud.google.com. Na página do Google Cloud, vamos realizar o login (acesso), informando o e-mail Google criado para o curso e a respectiva senha. Em seguida, acessaremos o console (painel) do Google Cloud.

Vamos selecionar a opção “Comece a usar gratuitamente” e seguir os passos de configuração. Escolheremos o país em que estamos (no nosso caso, Brasil), concordaremos com os termos e continuaremos. Será necessário adicionar um endereço e uma forma de pagamento. Atenção: as cobranças não serão automáticas; elas somente começarão se decidirmos ativar uma conta completa de pagamento por uso ou se optarmos pelo pagamento antecipado. Os créditos gratuitos permanecem disponíveis: são 300 créditos para utilizar durante 90 dias, mais do que suficientes para realizarmos este curso.

Vamos adicionar nosso endereço e nossa forma de pagamento — normalmente, um cartão de crédito — e, em seguida, selecionar o botão "Comece gratuitamente".

Entendendo créditos, cobranças e recomendações de segurança

Em seguida, acessamos o console. Observamos um número de créditos disponíveis para uso; essa mensagem inicial não precisa mais ser considerada. Também vemos a quantidade de créditos já utilizados. É importante ler a mensagem sobre o que ocorre quando o teste terminar: a própria Google informa que não serão realizadas cobranças automáticas quando o período de teste chegar ao fim. No entanto, os recursos que utilizarmos durante o curso serão marcados para exclusão e podem desaparecer; portanto, tudo o que fizermos aqui poderá ser perdido.

Para continuar trabalhando com o BigQuery nessa conta após o teste, precisamos ativar a conta completa; nesse caso, haverá cobrança. Nossa orientação é concluir o curso e, para garantir que nenhuma cobrança ocorra, apagar a conta Google criada especificamente para o curso. Por isso, recomendamos desde o início usar uma conta específica. Embora a Google garanta que não haverá cobrança automática, a menos que a conta seja ativada, apagar a conta elimina qualquer risco.

Criando e selecionando o projeto no Google Cloud

No ambiente Google Cloud, tudo o que configuramos na nuvem fica associado a um projeto, que é a entidade máxima. Máquinas virtuais, bancos de dados e quaisquer outros recursos ficam abaixo de um projeto.

No topo, há o seletor de projeto, que pode exibir "My First Project" (projeto padrão). Vamos criar um novo projeto: clicamos em "Novo projeto" e definimos um nome fácil de reconhecer, por exemplo, "SupremaShop-BigQuery". O sistema define um ID do projeto, que precisa ser único. Ao criar, ele verifica se pode aproveitar o nome informado ou se precisará adicionar algum número ao final. Isso é importante porque o nome e o ID do projeto serão utilizados no BigQuery.

Clicamos em "Criar" e aguardamos a criação. Em seguida, selecionamos o projeto. No nosso caso, o nome permaneceu exatamente como definido e será o que utilizaremos. Se, no seu caso, for acrescentado algum número, utilizaremos exatamente o nome/ID exibido. Ao clicar no seletor no topo, visualizamos o nome do projeto e o respectivo ID; este ID é importante.

Acessando o BigQuery Studio e ativando a API

Agora, abrimos o BigQuery Studio: abrimos o menu principal, localizamos BigQuery e, na parte superior, Studio. Ao acessar pela primeira vez, precisamos ativar a BigQuery API para trabalhar com o BigQuery; clicamos em "Ativar".

Se a tela ficar processando por muito tempo ao ativar a API, uma sugestão: voltar ao seletor de projeto, reabrir o menu e acessar novamente BigQuery. Assim conseguimos abrir o console, o BigQuery Studio. Caso ocorra o processamento prolongado, repitam esse procedimento.

Esta é a interface de trabalho na qual desenvolveremos todas as atividades do curso.

Encerrando e antecipando a navegação pela interface

Encerramos este vídeo por aqui. No próximo, vamos navegar e conhecer melhor a interface de trabalho.

Até o próximo vídeo. Um abraço.

Primeiros passos no BigQuery para analistas - O papel do BigQuery no trabalho do analista

Entendendo o papel do BigQuery

Neste vídeo, vamos entender o papel do BigQuery no trabalho de uma pessoa analista de dados. Antes de entrar em consultas, tabelas ou configurações, é importante enxergarmos o BigQuery como um ambiente de análise. Ele se torna relevante quando a empresa precisa consultar dados na nuvem, combinar informações de diferentes áreas e responder perguntas de negócio com agilidade. Para uma pessoa analista, o ponto principal não é decorar telas ou nomes técnicos; o essencial é entender como utilizar esse ambiente para investigar dados e apoiar decisões.

Em muitos cenários, os dados das empresas não ficam apenas em uma base local ou em um banco instalado na máquina da pessoa analista. Eles podem estar em um ambiente de nuvem, acessado por várias pessoas e preparado para trabalhar com volumes maiores de informação. É nesse contexto que o BigQuery se destaca.

O BigQuery permite consultar bases analíticas sem que seja necessário cuidar de servidores, instalação de banco ou manutenção de infraestrutura. Isso muda a escala do trabalho, mas não altera a responsabilidade principal: fazer boas perguntas e interpretar os resultados com cuidado. Mesmo utilizando uma ferramenta de nuvem, a análise continua começando pela pergunta de negócio. A empresa pode querer saber quais canais vendem mais, quais estados concentram maior faturamento, quais campanhas tiveram melhor resultado ou onde existem atrasos na entrega. O BigQuery entra como um ambiente no qual essas perguntas serão investigadas.

Conectando o SQL ao estudo de caso e às práticas na nuvem

Ao trabalharmos neste curso, não vamos pensar apenas em comandos. Vamos sempre conectar cada consulta a uma necessidade real, no nosso estudo de caso, que é o Suprema Shopping. E, se você já conhece a linguagem SQL (Linguagem de Consulta Estruturada), uma excelente notícia: no BigQuery também vamos selecionar colunas, filtrar registros, agrupar resultados, cruzar tabelas e construir métricas. Porém, existem algumas diferenças importantes. O ambiente é na nuvem, as tabelas ficam dentro de datasets (conjuntos de dados), as consultas executadas geram jobs (tarefas), e o volume de dados processado precisa ser observado. Por isso, além de escrever uma consulta correta, precisamos desenvolver o hábito de consultar com intenção.

Na rotina do dia a dia da pessoa analista, o BigQuery pode apoiar em várias etapas: ajuda na exploração inicial da base, na construção de indicadores, no cruzamento de informações, na criação de visões reutilizáveis e na preparação dos dados para relatórios ou dashboards (painéis).

Nós vamos seguir exatamente essa lógica ao longo do curso. Primeiro, vamos entender o ambiente; depois, explorar a base; em seguida, construir métricas; validar as informações; e preparar uma entrega.

Demonstrando a interface do BigQuery Studio

Vamos fazer uma demonstração para visualizar onde esses elementos aparecem na interface. Estamos no BigQuery Studio. Precisamos entender que tudo no BigQuery estará dentro do projeto que criamos no vídeo anterior, o Suprema Shop BigQuery. Abaixo do projeto, temos o conjunto de dados — fazendo uma analogia ao banco de dados, seria o nosso database (banco de dados). Embaixo do conjunto de dados, teremos tabelas, views (visualizações) e poderemos criar consultas. Essas consultas executarão as queries (consultas) dentro do banco de dados.

À direita, há um painel central que podemos fechar. Em seguida, podemos criar uma consulta. Ao clicar em criar uma consulta, abrimos uma área onde digitamos um comando, que será um comando SQL. Observaremos que os comandos de consulta do BigQuery são praticamente os mesmos de, por exemplo, MySQL, PostgreSQL ou SQLite; ou seja, são comandos SQL.

Sabemos que já há conhecimento prévio em SQL, mas veremos como fazemos referência a uma tabela do BigQuery, como é uma tabela no BigQuery comparada a uma tabela em um banco de dados relacional e como visualizar o resultado. Trabalharemos, daqui para frente, por meio desta interface, em que a primeira ação será criar a base do Suprema Shop — no caso, o nosso dataset (conjunto de dados) — e carregar as tabelas. Entretanto, não faremos isso neste vídeo. Agora, vamos voltar para os slides (apresentações) para finalizar este vídeo e continuar entendendo melhor como funciona o Google BigQuery.

Orientando a preparação antes das consultas

Antes de escrever uma consulta, vale observar alguns pontos:

Esse pequeno roteiro evita que a pessoa analista consulte dados no escuro e ajuda a transformar exploração em análise.

Encerrando com resumo e próximos passos

Neste vídeo, entendemos o papel do BigQuery na rotina da pessoa analista. Vimos que ele é um ambiente de análise em nuvem, útil para explorar bases, construir indicadores e preparar resultados para decisões de negócio. Também vimos que o conhecimento em SQL continua importante, mas que o BigQuery acrescenta novos cuidados, como projeto, dataset, jobs (tarefas) e volume processado.

Vamos parar por aqui. No próximo vídeo, vamos avançar para o acesso ao ambiente Google Cloud e entender como preparar o espaço onde o curso será praticado.

Um abraço, até o próximo vídeo.

Sobre o curso BigQuery: consultas e análises para grandes volumes

O curso BigQuery: consultas e análises para grandes volumes possui 262 minutos de vídeos, em um total de 71 atividades. Gostou? Conheça nossos outros cursos de Bancos de Dados & SQL em Dados, ou leia nossos artigos de Dados.

Matricule-se e comece a estudar com a gente hoje! Conheça outros tópicos abordados durante o curso:

Aprenda Bancos de Dados & SQL acessando integralmente esse e outros cursos, comece hoje!

Conheça os Planos para Empresas