Primeiras aulas do curso Modelos de ETL: Pentaho Data Integration

Modelos de ETL: Pentaho Data Integration

Onde se aplica o curso e baixando os softwares - Introdução

Colocaremos em prática os conceitos apresentados no curso de Introdução ao Business Intelligence para construir o Data Warehouse, cubos de consulta e painéis de acesso, além de fazer os processos de ETL de uma empresa de suco de frutas.

Nesta etapa, seguiremos uma linha diferente da oferecida pelos produtos Microsoft, ainda que utilizando seu banco de dados apenas como fonte. Usaremos o SQL Power Architect, HeidiSQL, MySQL e as ferramentas da Pentaho, Qlik View e Tableau.

Nosso objetivo é utilizar a matriz de dimensão-indicador para construir o modelo lógico do Data Warehouse, definindo cada tabela e dimensão de relacionamento.

Onde se aplica o curso e baixando os softwares - Onde este curso se aplica

Revisaremos alguns conceitos de Business Intelligence importantes.

O ponto principal é a capacidade de reconhecer a aplicação que cada usuário necessita.

A fim de realizar um bom projeto de informações gerenciais e disponibilizá-las aos executivos de uma empresa, precisamos nos basear em suas particularidades para criar uma matriz de dimensão-indicador eficiente que servirá como suporte de um Data Warehouse separado do banco de dados transacional.

Devemos identificar a origem da informação em fontes externas ou internas que estão fora do sistema corporativo - planilhas ou até arquivos pessoais - para aplicar o processo de ETL.

Eventualmente, podemos construir um banco auxiliar ODS visando o armazenamento e transporte de dados para o Data Warehouse. Vimos no curso de Introdução ao BI que não podemos plugar relatórios diretamente neste; devemos construir bancos OLAP já preparados para consulta com funcionalidades analíticas.

Neste treinamento, focaremos na construção das bases citadas e no uso da ferramenta Pentaho Data Integration.

Onde se aplica o curso e baixando os softwares - Matriz Dimensão Indicador

O primeiro passo é conhecer a matriz Dimensão-Indicador e definir as tabelas do Data Warehouse da empresa fictícia que estamos utilizando, a Sucos Ltda.

Pesquisando as demandas de cada setor e suas peculiaridades, chegamos aos indicadores e suas dimensões que serão cruzados e hierarquizados:

INDICADORES / DIMENSÕESTempoClienteProdutoFábricaVendas
Faturamento R$ (Dados Diários)XXXXX
Custo de Frete R$ (Dados Diários)XXXX-
Imposto R$ (Dados Diários)XXXXX
Custo Fixo R$ (Dados Mensais)X--X-
Custo Variável R$ (Dados Diários)XXXXX
Unidades Vendidas (Dados Diários)XXXXX
Quantidades Vendidas em Litros (Dados Diários)XXXXX
Meta de Faturamento R$ (Dados Mensais)XXX-X
Meta de Custos R$ (Dados Mensais)X-XX-

Desta forma, observamos quais cruzamentos possuem os mesmos grupos para determinar as tabelas de Fato.

FATO 1TempoClienteProdutoFábricaVendas
Faturamento R$ (Dados Diários)XXXXX
Imposto R$ (Dados Diários)XXXXX
Custo Variável R$ (Dados Diários)XXXXX
Unidades Vendidas (Dados Diários)XXXXX
Quantidades Vendidas em Litros (Dados Diários)XXXXX
FATO 2TempoClienteProdutoFábricaVendas
Custo de Frete R$ (Dados Diários)XXXX--
FATO 3TempoClienteProdutoFábricaVendas
Custo Fixo R$ (Dados Mensais)X----X--
FATO 4TempoClienteProdutoFábricaVendas
Meta de Faturamento R$ (Dados Mensais)XXX-X
FATO 5TempoClienteProdutoFábricaVendas
Meta de Custos R$ (Dados Mensais)X--XX--

Os demais são calculados com fórmulas específicas:

Faturamento Líquido em R$ = Faturamento em R$ - Custo de Frete em R$ - Impostos em R$

Margem em R$ = Faturamento Líquido em R$ - Custo Fixo em R$ - Custo Variável em R$

Preço Médio = Faturamento em R$ / Quantidades Vendidas em Litros

Variação da Meta Faturamento = ((Faturamento Líquido em R$ / Meta de Faturamento em R$)-1)x100

Variação da Meta Custo = (((Custo Fixo + Custo Variável) / Meta de Custo em R$)-1)x100

Variação da Meta da Margem = (((Margem em R$) / (Meta de Faturamento - Meta de Margem))-1)x100

Com esses dados, geramos as tabelas de Data Warehouse e construímos cada uma com um tipo de esquema para fins didáticos. O primeiro conjunto modela a dimensão "Produto", sendo que cada nível desta se encontra em uma tabela diferente, como um snowflake.

A de "Cliente" produzimos como um star schema, o qual possui todos os níveis desnormalizados dentro de uma única tabela.

Já a dimensão "Fábrica" possui apenas um nível com ausência de hierarquia, dispensando a necessidade de esquema.

A "Organizacional" demonstra como construímos um Data Warehouse com uma dimensão irregular.

A dimensão "Tempo" segue a linha de modelo estrela, sendo que nossa fonte será apenas o dia da venda, enquanto as demais variáveis se apresentarão durante o processo de ETL por meio de cálculos.

Você verá ao longo deste treinamento como utilizamos estes elementos, fontes e dados para a construção do Data Warehouse com as ferramentas Pentaho.

Sobre o curso Modelos de ETL: Pentaho Data Integration

O curso Modelos de ETL: Pentaho Data Integration possui 296 minutos de vídeos, em um total de 68 atividades. Gostou? Conheça nossos outros cursos de Business Intelligence em Data Science, ou leia nossos artigos de Data Science.

Matricule-se e comece a estudar com a gente hoje! Conheça outros tópicos abordados durante o curso:

Aprenda Business Intelligence acessando integralmente esse e outros cursos, comece hoje!

  • 1241 cursos

    Cursos de programação, UX, agilidade, data science, transformação digital, mobile, front-end, marketing e infra.

  • Certificado de participação

    Certificado de que assistiu o curso e finalizou as atividades

  • App para Android e iPhone/iPad

    Estude até mesmo offline através das nossas apps Android e iOS em smartphones e tablets

  • Projeto avaliado pelos instrutores

    Projeto práticos para entrega e avaliação dos professores da Alura com certificado de aprovação diferenciado

  • Acesso à Alura Start

    Cursos de introdução a tecnologia através de games, apps e ciência

  • Acesso à Alura Língua

    Reforço online de inglês e espanhol para aprimorar seu conhecimento

Premium

  • 1241 cursos

    Cursos de programação, UX, agilidade, data science, transformação digital, mobile, front-end, marketing e infra.

  • Certificado de participação

    Certificado de que assistiu o curso e finalizou as atividades

  • App para Android e iPhone/iPad

    Estude até mesmo offline através das nossas apps Android e iOS em smartphones e tablets

  • Projeto avaliado pelos instrutores

    Projeto práticos para entrega e avaliação dos professores da Alura com certificado de aprovação diferenciado

  • Acesso à Alura Start

    Cursos de introdução a tecnologia através de games, apps e ciência

  • Acesso à Alura Língua

    Reforço online de inglês e espanhol para aprimorar seu conhecimento

12X
R$75
à vista R$900
Matricule-se

Premium Plus

  • 1241 cursos

    Cursos de programação, UX, agilidade, data science, transformação digital, mobile, front-end, marketing e infra.

  • Certificado de participação

    Certificado de que assistiu o curso e finalizou as atividades

  • App para Android e iPhone/iPad

    Estude até mesmo offline através das nossas apps Android e iOS em smartphones e tablets

  • Projeto avaliado pelos instrutores

    Projeto práticos para entrega e avaliação dos professores da Alura com certificado de aprovação diferenciado

  • Acesso à Alura Start

    Cursos de introdução a tecnologia através de games, apps e ciência

  • Acesso à Alura Língua

    Reforço online de inglês e espanhol para aprimorar seu conhecimento

12X
R$100
à vista R$1.200
Matricule-se

Max

  • 1241 cursos

    Cursos de programação, UX, agilidade, data science, transformação digital, mobile, front-end, marketing e infra.

  • Certificado de participação

    Certificado de que assistiu o curso e finalizou as atividades

  • App para Android e iPhone/iPad

    Estude até mesmo offline através das nossas apps Android e iOS em smartphones e tablets

  • Projeto avaliado pelos instrutores

    Projeto práticos para entrega e avaliação dos professores da Alura com certificado de aprovação diferenciado

  • Acesso à Alura Start

    Cursos de introdução a tecnologia através de games, apps e ciência

  • Acesso à Alura Língua

    Reforço online de inglês e espanhol para aprimorar seu conhecimento

12X
R$120
à vista R$1.440
Matricule-se
Procurando planos para empresas?

Acesso por 1 ano

Estude 24h/dia onde e quando quiser

Novos cursos todas as semanas