00HORAS
00MIN
00SEG
Compre com desconto

Primeiras aulas do curso

Microsoft Azure: contruindo pipelines Medalhão com Data Factory e Databricks

Projetando a plataforma da AzureShop - Apresentação

Apresentando o curso e fazendo autodescrição

Olá, seja muito bem-vindo a mais um curso de Engenharia de Dados na Alura. Durante esta trajetória, nós construiremos um pipeline (fluxo de dados) moderno na Azure. Eu sou Agnes Huesca, sou instrutora da Alura e também engenheira de dados. Já atuei como engenheira de software e DevOps (desenvolvimento e operações), mas hoje minha principal atuação é na construção e evolução de pipelines (fluxos de dados), governança e infraestruturas em cloud (nuvem). É justamente alguns desses conceitos que queremos trazer para este curso. Antes de mais nada, eu vou me autodescrever.

Audiodescrição: Sou uma mulher branca, de cabelos castanhos longos, uso uma blusa bege e óculos. Ao fundo, está o estúdio da Alura; à minha esquerda, há uma prateleira. Estou olhando diretamente para a câmera.

Planejando a arquitetura e o pipeline

Ao longo do curso, iniciaremos conhecendo a Azure Shop, que será nossa solução de referência. Nós entenderemos cada serviço da Azure e como cada um deles se comunica para compor nossa arquitetura.

Iniciaremos com o Azure Data Factory para realizar a orquestração do nosso pipeline (fluxo de dados). Utilizaremos também o Azure Databricks com PySpark para executar transformações e aplicar regras de qualidade.

Publicaremos tudo seguindo a arquitetura medalhão, com as camadas bronze (bronze), silver (prata) e gold (ouro). Tornaremos os dados disponíveis para consumo no Azure SQL.

Implementando monitoramento e garantindo idempotência

Além disso, não trabalharemos apenas com a extração de dados e sua disponibilização para consumo. Também abordaremos situações em que o cenário não for o ideal.

Trabalharemos com monitoramento, observabilidade e parametrização, definiremos ponto de reprocessamento e garantiremos idempotência. Vamos atuar com o pipeline (fluxo de processamento) completo.

Após finalizarmos esse fluxo completo, nós o colocaremos à prova, realizando a ingestão de um novo lote, com uma nova data, e verificando se o funcionamento está de acordo ou se são necessários ajustes. Ao final, reprocessaremos tudo para garantir a idempotência e elaboraremos a documentação. Entregaremos, assim, uma solução completa, da extração à disponibilização, com rastreabilidade, monitoramento, observabilidade e alertas em caso de falha, além de documentação clara e garantia de qualidade dos dados. Teremos, portanto, um fluxo completo.

Engajando com a comunidade e praticando

Durante essa trajetória, é importante lembrarmos que não estamos sozinhos: contamos com o fórum da Alura e com o canal no Discord, onde outras pessoas que estão fazendo o mesmo curso podem trocar experiências e registrar dúvidas. Também contamos com a Luri, assistente virtual da Alura, que pode ajudar com dúvidas pontuais, oferecer exemplos adicionais para facilitar a compreensão de conceitos e até sugerir desafios para aprofundarmos mais, caso solicitemos.

É fundamental praticarmos ativamente. Convidamos você a construir o projeto conosco para aprofundar esse conhecimento. Vamos lá?

Projetando a plataforma da AzureShop - Diagnosticando o cenário e levantando requisitos

Contextualizando requisitos e rastreabilidade

Olá.

Antes de começarmos a desenvolver nossa arquitetura no ecossistema da Esri, precisamos entender qual problema nossa solução vai resolver. Antes de escolher serviços e a cloud (nuvem), precisamos compreender os requisitos de negócio, como iremos atendê-los e o que precisamos resolver para o time de negócio. Isso é mais importante do que a ferramenta em si.

Durante este curso, vamos trabalhar com a Esri Shop, uma empresa de comércio eletrônico que cresceu significativamente e passou a receber diversos dados relacionados a pessoa cliente, pedido, categorias de pedido e dados de pagamento. Temos um cenário completo com alguns datasets (conjuntos de dados) diferentes. Poderia ser natural pensar que será apenas uma arquitetura medalhão, com movimentação de dados de um lado para o outro, e tudo certo. Talvez seja, mas é mais do que isso; é mais do que apenas decidir usar um Blob Storage (armazenamento de blobs) ou qualquer outro serviço. Precisamos entender nosso principal objetivo.

Nosso principal objetivo é entregar dados ao time de negócio de forma confiável e garantir que, quando ocorrer algum problema no processo, o time de negócio consiga identificar o que aconteceu. Entender quando algo sai do esperado também é essencial. Pensamos no caminho feliz, mas também precisamos considerar o caminho em que algo dá errado.

Para entender essa necessidade, partimos de um incidente. Imagine que a Esri Shop estava recebendo seu lote diário de dados e, durante esse processo, houve a necessidade de reprocessar um lote. Tínhamos processado os dados e foi necessário reprocessá-los. Após o reprocessamento, o time de negócio analisou os dados e percebeu que eles deixaram de corresponder ao que era esperado. A partir daí, surgem algumas perguntas naturais:

  • Qual lote gerou esse dado?
  • Esse dado foi duplicado no momento da reexecução?
  • O arquivo recebido originalmente ainda está disponível ou não está mais, e nós perdemos a rastreabilidade?

Essas dúvidas evidenciam o problema de apenas movimentar os dados. Se pegarmos um dado e o levarmos ao ponto B, onde está a rastreabilidade? Como saber de onde veio o dado incorreto e por onde ele passou? Concluímos que precisamos construir uma plataforma que nos dê capacidade de rastrear e reprocessar informações de forma segura.

Explorando os datasets do projeto

Agora, vamos abrir a seção de datasets (conjuntos de dados). No projeto que vocês baixaram, há a pasta "datasets", e abrimos o dia 1 do 8. Observamos que não há um único arquivo; estamos lidando com diversos: categorias, clientes, itens de pedidos, pagamentos em JSON, pedidos em CSV e produtos em CSV.

Ao olhar para esse cenário, percebemos que, apenas pelos títulos, esses arquivos provavelmente têm conexão entre si. Se analisarmos pedidos, é provável que estejam ligados a clientes, pois é a pessoa cliente quem faz o pedido. Quando falamos de pagamentos, provavelmente também estão ligados a um pedido ou a uma pessoa cliente. Começamos, então, a perceber que existe um ponto de conexão entre esses diferentes datasets (conjuntos de dados) que os une.

Precisamos verificar se essas relações são válidas e se permanecem consistentes durante todo o nosso processamento.

Vamos abrir a tabela de pedidos. Nela, observamos as colunas pedido ID, cliente ID, data do pedido e status. Identificamos, de imediato, a conexão com a tabela de cliente, já que há um cliente ID referenciado.

Estabelecendo contrato de dados e regras

Em seguida, vamos voltar para a pasta raiz "Azure Shop Data Platform" e abrir, dentro de "docs", o arquivo contrato de dados. Esta é uma parte muito importante do projeto, pois define nossos requisitos.

Podemos ver as regras gerais:

  • O formato CSV (valores separados por vírgula) deve ter cabeçalho obrigatório e separador por vírgula.
  • O formato JSON (JavaScript Object Notation) deve conter um objeto por linha.

Também há regras por entidade. Na entidade cliente, por exemplo:

  • cliente ID deve ser uma string, é obrigatório e é único por lote.
  • email é obrigatório e deve conter o sinal @. Se a string não contiver @, estará fora do que esperamos.
  • CPF deve ter 11 dígitos. Sabemos que isso não cobre todas as validações possíveis, mas, para fins didáticos, consideraremos 11 dígitos.
  • data de cadastro deve obedecer ao formato AAAA-MM-DD (ano-mês-dia).

Nas demais entidades, como produto, observamos que:

  • categoria é obrigatória.
  • preço deve ser positivo.

Em pedidos, vemos que:

  • status é obrigatório e só aceita os valores aprovado, cancelado ou pendente.

Cada entidade possui requisitos e regras que geram uma validação de qualidade dos dados, algo essencial em todo o processo.

Adicionando colunas técnicas para rastreabilidade

Outro ponto importante é o conjunto de colunas técnicas, que nós adicionaremos para rastreabilidade:

  • data de referência: indica a partição e o recorte específico da carga.
  • ID do lote: rastreia o lote de origem e o de destino.
  • processamento: registra o horário em que processamos a carga.
  • motivo da rejeição: documenta por que um registro foi rejeitado.

Essas colunas técnicas nos ajudam a rastrear casos em que os dados não atenderam aos requisitos ou quando ocorreu alguma falha durante o processamento. Com elas, conseguimos entender onde ocorreu o problema, qual foi o lote afetado, quando aconteceu, em que etapa do processamento e por que houve rejeição. Por exemplo: rejeição por regra de qualidade (um e-mail sem @) ou pela ausência de um campo obrigatório como pedido ID. Assim, criamos um processo de rastreabilidade que nos permite compreender melhor o que aconteceu durante o nosso pipeline (fluxo de processamento).

Planejando a arquitetura na azure

Percebam que, até aqui, nós não falamos sobre Azure Blob Storage (armazenamento de blobs do Azure) nem sobre Azure Data Factory (fábrica de dados do Azure). Não é que a plataforma não seja importante. Antes de partirmos para uma plataforma, é fundamental entendermos o que estamos entregando e quais são os requisitos. Só então conseguimos criar um pipeline com qualidade e, a partir daí, pensar em quais serviços dentro da Microsoft Azure atenderão a essas demandas.

Agora, sim, conseguimos começar a pensar na nossa arquitetura, e isso veremos no próximo vídeo. Eu te vejo lá!

Projetando a plataforma da AzureShop - Definindo responsabilidades dos serviços

Introduzindo a arquitetura da solução

Olá.

No vídeo anterior, nós analisamos o cenário do nosso Westfield Shopping e transformamos o problema identificado em requisitos para a nossa nova plataforma. Agora, com os requisitos bem definidos, iniciamos uma etapa essencial: decidir como será a arquitetura, quais serviços utilizaremos e como distribuiremos as responsabilidades entre esses serviços.

Em vez de utilizarmos um serviço único que resolva todos os problemas, optaremos por diversos serviços, cada um com uma função específica. Juntos, eles entregarão o que precisamos: uma arquitetura organizada, com qualidade, clareza e papéis bem definidos para cada serviço.

Orquestrando, armazenando e transformando dados

Um dos primeiros serviços que utilizaremos será o Azure Data Factory. Esse serviço é responsável pela orquestração: fará o orquestramento de todo o nosso pipeline (fluxo de dados) e movimentará o nosso lote ao longo desse pipeline, permitindo que cada uma das demais peças da arquitetura execute seu processo de forma adequada.

O segundo serviço que utilizaremos é o Azure Data Lake Storage (ADLS). Quando ouvimos o termo storage (armazenamento), já entendemos sua finalidade: será onde manteremos nosso Data Lake (lago de dados), armazenando os dados das camadas Bronze e Silver, além dos dados rejeitados, também conhecidos como quarentena. O Azure Data Lake Storage será o local em que permanecerão, de forma persistente, nossos dados físicos.

Assim, já contamos com um orquestrador, o Azure Data Factory, responsável por toda a orquestração do nosso pipeline, e com o repositório no qual os dados serão efetivamente persistidos, o Azure Data Lake Storage.

Por fim, teremos um terceiro serviço neste curso: utilizaremos o Azure Databricks. O Databricks será o ambiente no qual realizaremos nosso processo de ETL (extração, transformação e carga).

Dentro do Databricks, nós utilizaremos ferramentas para realizar o tratamento dos dados. Todo o tratamento, a verificação de qualidade dos dados (data quality (qualidade dos dados)) e as transformações necessárias serão executados dentro do Databricks.

Consumindo e monitorando o fluxo de dados

Até agora, nós temos o Azure Data Factory organizando e orquestrando todos os processos, o Azure Data Lake Storage persistindo os dados e o Databricks transformando esses dados. Além disso, teremos o Azure SQL.

Vamos pensar no fluxo completo. Nós temos o Azure Data Factory orquestrando tudo. O que está dentro desse Azure Data Factory? O que ele está orquestrando? Justamente o Databricks realizando as transformações e salvando os dados no Azure Data Lake Storage. Ao final, teremos uma ponta que precisa consumir, e é aqui que entra o Azure SQL. O Azure SQL será o consumidor.

É nesse ponto que a equipe de negócios consegue consumir os dados que tratamos, cuja qualidade verificamos e nos quais trabalhamos no Databricks.

Por último, mas não menos importante, atendendo a um requisito que mencionamos no vídeo anterior, teremos um monitor para conseguirmos observar o processo de ponta a ponta. Vamos conseguir responder perguntas como: onde aconteceu o problema? Perdemos algum dado? O monitor atuará na parte de monitoramento de todo esse processo para garantirmos a observabilidade e a rastreabilidade que comentamos no vídeo anterior.

Antecipando as camadas de dados

Agora que entendemos o que cada um desses serviços faz dentro da nossa arquitetura e como cada um atende a uma necessidade identificada no primeiro vídeo, chegamos a um desenho completo dessa arquitetura. Ainda assim, faltam alguns pontos importantes. Por exemplo, como os dados vão percorrer o fluxo. Mencionamos as camadas bronze (bronze), silver (prata) e gold (ouro). No próximo vídeo, vamos aprofundar esse tema, entender melhor como as camadas bronze (bronze), silver (prata), gold (ouro) e a de rejeitados vão funcionar e como vamos garantir que o nosso lote de consumo chegue de forma confiável para o time de negócios.

Eu te vejo lá! [♪]

Sobre o curso Microsoft Azure: contruindo pipelines Medalhão com Data Factory e Databricks

O curso Microsoft Azure: contruindo pipelines Medalhão com Data Factory e Databricks possui 503 minutos de vídeos, em um total de 98 atividades. Gostou? Conheça nossos outros cursos de Engenharias e Arquiteturas de Dados em Dados, ou leia nossos artigos de Dados.

Matricule-se e comece a estudar com a gente hoje! Conheça outros tópicos abordados durante o curso:

  • Projetando a plataforma da AzureShop
  • Estruturando as camadas e os dados da plataforma
  • Construindo uma ingestão orientada por metadados
  • Construindo a camada Silver no Databricks
  • Criando produtos de dados na camada Gold
  • Publicando os produtos para consumo
  • Orquestrando e recuperando o pipeline
  • Validando a plataforma completa

Aprenda Engenharias e Arquiteturas de Dados acessando integralmente esse e outros cursos. Comece hoje!

Plus 24

Todos os cursos, trilhas e certificados para evoluir.

Carregando precos do plano

7 dias para cancelar com reembolso

Alura EmpregabilidadeNOVO
  • Acesso ao maior portal de vagas tech do BrasilExclusivo na Black
  • Modo entrevista técnica e comportamental
  • 2.348 Cursos e 37 Carreiras
  • Certificados reconhecidos pelo mercado
  • Luri: nossa IA exclusiva, que acelera e personaliza seu aprendizado

Pro 24

Aprenda mais rápido com IA, idiomas e imersões.

Carregando precos do plano

7 dias para cancelar com reembolso

TUDO DO PLUS, MAIS:

Alura EmpregabilidadeNOVO
  • Acesso ao maior portal de vagas tech do Brasil
  • Modo entrevista técnica e comportamental
  • Desafios de código
  • System design
  • Luri Vision: a versão mais completa da nossa IA, que permite envio de imagens
  • Livros da Casa do código: Acesso ao acervo de livros da maior editora tech do país
  • Alura Língua: cursos de inglês e espanhol com foco na área tech

Ultra Lab 24

Aceleração de carreira: mentoria, vagas e prática guiada.

Carregando precos do plano

7 dias para cancelar com reembolso

TUDO DO PRO, MAIS:

Alura EmpregabilidadeNOVO
  • Acesso ao maior portal de vagas tech do Brasil
  • Modo entrevista técnica e comportamental
  • Desafios de código
  • System design
  • 2 mentorias individuais com foco na sua carreira
  • Luri Vision Ilimitada: a versão mais completa da nossa IA
  • Lives CareerUp: eventos exclusivos com foco em empregabilidade e carreira
Melhor opção para a sua carreira
Conheça os Planos para Empresas