Engenharia de Dados: dbt - Transformações Modernas de Dados

Introdução e preparação do ambiente - Apresentação

Apresentando o curso e o instrutor

Olá! Boas-vindas ao curso de gestão de dados com dbt: transformações modernas de dados. Meu nome é Vitorino Vila e, durante este curso, eu acompanharei você na construção de um projeto completo utilizando dbt e PostgreSQL.

Sou profissional da área de dados e atuo em projetos que envolvem transformações, modelagem, integrações e qualidade de dados. Posso afirmar que o dbt nos ajuda muito ao longo de todo esse processo.

Neste curso, nós vamos compartilhar não apenas comandos e teorias, mas, principalmente, uma visão prática de como o dbt é utilizado em projetos reais.

Contextualizando o dbt na engenharia de dados

Atualmente, o dbt se tornou uma das ferramentas mais importantes na engenharia de dados moderna, pois permite transformar dados diretamente no banco de dados usando SQL. Além disso, possibilita versionamento, testes, documentação e organização de todo o fluxo analítico.

Hoje, empresas de todos os portes utilizam o dbt para construir ambientes analíticos mais confiáveis, organizados e escaláveis.

Definindo objetivos e cenário do projeto

O objetivo deste curso é demonstrar, na prática, como transformar dados brutos em modelos analíticos, trabalhando em um cenário realista de uma empresa de e-commerce (comércio eletrônico) e enfrentando problemas comuns do dia a dia em projetos de dados.

Ao longo do curso, criaremos um projeto completo com dbt, passando pelas etapas mais importantes: da criação da camada raw (bruta) até a construção dos modelos analíticos finais.

Configurando o ambiente e iniciando as transformações

Começaremos preparando o ambiente: instalando PostgreSQL, dbt, VS Code e carregando os dados brutos. Em seguida, iniciaremos o projeto com dbt, compreenderemos sua estrutura e executaremos as primeiras transformações na camada de staging (preparação).

Resolveremos problemas reais de qualidade de dados, como dados inconsistentes, valores nulos, preços como texto e a padronização de informações.

Construindo modelos e garantindo a qualidade

Depois, construiremos modelos intermediários, nos quais aplicamos join (junção), criamos métricas e, por fim, estruturamos a camada analítica final.

Também veremos testes de qualidade, testes de integridade referencial e validações personalizadas e, ao final, geraremos toda a documentação do dbt, explorando as relações entre os modelos.

Convidando ao aprendizado e encerrando a introdução

Se você deseja aprender dbt de forma prática, moderna e aplicada ao mercado, este curso foi feito para você.

Prepare seu ambiente, abra seu editor e vamos iniciar nosso projeto. Um abraço e até o próximo vídeo.

Introdução e preparação do ambiente - O que é o dbt e onde ele atua

Apresentando o dbt e o objetivo do curso

O que é o dbt e onde atua? Vamos começar.

Neste curso, nós vamos aprender a transformar dados de forma moderna, utilizando uma ferramenta amplamente utilizada no mercado: o dbt, sigla para Data Build Tool (Ferramenta de Construção de Dados).

Esclarecendo o papel do dbt no fluxo de dados

Antes de iniciar a parte prática, é importante entendermos rapidamente o que é o dbt e, principalmente, onde ele se encaixa dentro de um fluxo de dados. Já adiantamos: o dbt não é uma ferramenta de ingestão de dados. Ele não extrai dados de APIs (Interfaces de Programação de Aplicações), não lê arquivos diretamente e não carrega dados no banco de dados.

O dbt atua em um momento específico do processo, quando os dados já estão dentro do banco de dados e precisam ser organizados, transformados e preparados para análise.

Contextualizando o cenário de dados e a necessidade de transformação

Vamos considerar uma situação comum. Uma empresa possui vários sistemas que geram muitos dados: sistemas de vendas, cadastro de clientes, produtos e pedidos. Esses dados são armazenados em um banco de dados, mas, normalmente, estão em formato bruto, com muitas inconsistências, duplicidade e pouca padronização.

Nesse momento, entra o dbt. O papel do dbt é receber esses dados brutos e transformá-los em dados confiáveis, organizados e prontos para análise. E, o mais importante, ele faz isso utilizando SQL. Ou seja, se já conhecemos SQL, já temos a principal habilidade necessária para trabalhar com o dbt.

Na prática, o dbt funciona de forma simples. Escrevemos uma consulta SQL que define como os dados devem ser transformados. Essas consultas são organizadas em modelos dentro de um projeto. Quando executamos o dbt, ele toma essas consultas e cria tabelas ou views (visualizações) dentro do banco de dados, com os dados já transformados. Ou seja, o dbt não processa os dados fora do banco de dados; utiliza o próprio banco de dados como mecanismo de execução. Isso traz uma grande vantagem: escalabilidade e desempenho, pois o processamento ocorre diretamente onde os dados estão.

Antecipando o projeto prático e próximos passos

Ao longo deste curso, nós vamos trabalhar com um cenário bastante realista de dados de um e-commerce (comércio eletrônico). Começaremos com dados brutos, cheios de problemas, e utilizaremos o dbt para transformar esses dados passo a passo. Nós vamos aprender a organizar os dados, corrigir inconsistências, criar modelos analíticos, garantir a qualidade com testes e documentar todo esse processo ao final. No fim, teremos construído um pipeline (esteira) completo de transformação de dados utilizando o dbt.

Agora que já entendemos o papel do dbt, no próximo vídeo conheceremos o cenário prático que vamos utilizar ao longo do curso. Nós vamos entender melhor os dados com os quais vamos trabalhar aqui e como eles se conectam com o que vimos até agora. De acordo. Um abraço e até o próximo vídeo.

Introdução e preparação do ambiente - Apresentação do estudo de caso

Contextualizando o estudo de caso

Apresentando o estudo de caso.

Agora que já entendemos o papel do dbt, vamos entrar no cenário prático que utilizaremos ao longo do curso. Vamos atuar como se trabalhássemos em uma empresa de comércio eletrônico.

Essa empresa vende produtos on-line, tem clientes cadastrados, recebe pedidos e registra todos esses dados em um banco de dados. No entanto, como ocorre em muitas empresas, esses dados foram gerados por sistemas operacionais e não foram preparados para análise. Isso significa que os dados existem, mas ainda não estão prontos para responder às perguntas do negócio.

É nesse contexto que nosso papel neste curso será o de atuar como profissionais de dados responsáveis por organizar essas informações. Não vamos coletar dados nem construir sistemas de ingestão que capturem dados e os gravem no banco. Nosso foco será transformar os dados existentes em algo confiável e utilizável.

Ou seja, vamos pegar os dados brutos e transformá-los em modelos analíticos que possam ser usados para gerar relatórios, dashboards (painéis) e análises. E é exatamente aqui que entra o dbt como ferramenta principal.

Apresentando as tabelas e identificando problemas de dados

Vamos conhecer, então, as principais tabelas com as quais vamos trabalhar. Inicialmente, temos uma tabela de clientes, que contém informações básicas, como nome e e-mail. Temos uma tabela de pedidos, que registra cada compra realizada por um cliente.

Nós também temos uma tabela de itens de pedidos, que detalha quais produtos foram comprados em cada pedido.

Por fim, há uma tabela de produtos, com informações sobre os itens vendidos pela empresa. Essas tabelas estão relacionadas entre si, mas não estão organizadas da melhor forma possível para a análise. Apesar de termos todas essas informações, os dados que vamos apresentar aqui contêm diversos problemas.

Encontraremos, por exemplo, endereços de e-mail vazios ou duplicados, datas com formatos inconsistentes, preços armazenados como texto, valores nulos ou inválidos, registros duplicados e até dados órfãos, como pedidos sem cliente ou produtos inexistentes. Todos esses problemas tornarão a análise muito mais difícil. Os dados não serão confiáveis se estiverem nesse tipo de formato, com esse tipo de erro.

Resolvendo os problemas com dbt

Ao longo deste curso, nós vamos resolver todos esses problemas usando dbt. Construiremos uma estrutura de dados organizada, passando por diferentes camadas. Primeiro, vamos limpar e padronizar os dados. Em seguida, vamos integrar e enriquecer essas informações. Por fim, vamos criar tabelas analíticas prontas para uso.

Ao final do curso, teremos um conjunto de dados confiável, estruturado e pronto para a análise.

Preparando o ambiente e encerrando o vídeo

No próximo vídeo, nós vamos preparar nosso ambiente de desenvolvimento para começar a trabalhar com esses dados na prática. Nós vamos instalar as ferramentas necessárias e garantir que tudo esteja pronto para começar a usar dbt.

De acordo? Um abraço. Até o próximo vídeo.

Sobre o curso Engenharia de Dados: dbt - Transformações Modernas de Dados

O curso Engenharia de Dados: dbt - Transformações Modernas de Dados possui 308 minutos de vídeos, em um total de 75 atividades. Gostou? Conheça nossos outros cursos de Engenharia de Dados em Data Science, ou leia nossos artigos de Data Science.

Matricule-se e comece a estudar com a gente hoje! Conheça outros tópicos abordados durante o curso:

• Introdução e preparação do ambiente
• Criando o projeto dbt
• Staging: limpeza e padronização
• Transformações e regras de negócio
• Qualidade de dados no dbt
• Documentação e execução do projeto