O que você aprenderá_
- Entenda os motivos para considerar o uso da arquitetura de medalhas no seu Data Lake
- Saiba como atualizar um pipeline de dados que é orquestrado pelo Airflow
- Implemente a transformação de dados para a camadas Silver
- Execute a integração completa entre o Spark e o Airflow
- Faça a refinação dos dados para a camada Gold
Público alvo_
Pessoas interessadas em incrementar um pipeline de dados para a transformação de dados utilizando Spark e o Airflow.
Igor Nascimento Alves
Sou graduado em Ciência da Computação. Atuo como instrutor de Data Science e Machine Learning no Grupo Alura, tendo como principais interesses na tecnologia: criação de modelos e análise de dados. Nas horas vagas assisto e analiso dados de basquete e adoro ouvir podcasts de humor como Nerdcast e Jujubacast.
Curso atualizado em 11/07/2023
Já estuda na Alura?
Comece o curso agoraEmenta
Contexto Data Lake
- Proposta do projeto de transformação de dados
- Reestruturando o Data Lake (Bronze, Silver, Gold)
- Pipeline atual
Explorando com Spark
- Instalando o PySpark
- Explorando os dados
- DataFrames Tweets
- DataFrame Users (resposta desafio)
- Rodando scripts
- Testando nosso script
Orquestrando o Spark
- Operador Spark
- Conexão Spark-Airflow
- Carregando dados
Refinando o projeto
- Criando a camada Bronze
- Pasta relativas
Dados refinados
- Extraindo interações
- Criando um novo operador
- Atualizando nossa DAG
Descubra se esse curso é pra você! Leia as primeiras aulas
-
Formação
Apache Airflow
10h
De curso
52
Atividades
Escola
Data Science
Pessoas estudando esse curso nesse mês:
Estude com elas
Rafael Porfirio
Kennedy R. Menezes
Yan Lucas Franca Arcanjo
Juan Pablo Ribeiro de Lima
Caio Marchiorato de Gouveia
e mais 66 pessoas
e mais 66 pessoas
Faça parte da nossa comunidade no discord!
Troque conhecimentos com a comunidade da Alura
Escolha a duração
do seu plano
Plus (1 ano)
Impulsione a sua carreira com os melhores cursos e faça parte da maior comunidade tech.
Matricule-seÀ vista R$1.046,40R$109 20% Off12x R$87,201 ano de Alura
Assine o PLUS (1 ANO) e garanta:
- Acesso a TODOS os cursos por 1 ano
Formações com mais de 1500 cursos atualizados e novos lançamentos semanais, em Programação, Inteligência Artificial, Front-end, UX & Design, Data Science, Mobile, DevOps e Inovação & Gestão.
- Certificado
A cada curso ou formação concluído, um novo certificado para turbinar seu currículo e LinkedIn.
- Mentorias com especialistas
No Discord, você tem acesso a eventos exclusivos, grupos de estudos e mentorias com especialistas de diferentes áreas.
- Comunidade exclusiva
Faça parte da maior comunidade Dev do país e crie conexões com mais de 120 mil pessoas no Discord.
- Acesso ao conteúdo das Imersões
Acesso ilimitado ao catálogo de Imersões da Alura para praticar conhecimentos em diferentes áreas.
- App Android e iOS para estudar onde quiser
Explore um universo de possibilidades na palma da sua mão. Baixe as aulas para assistir offline, onde e quando quiser.
-
O mais escolhido
Pro (1 ano)
Acelere o seu aprendizado com a IA da Alura e prepare-se para o mercado internacional.
Matricule-seÀ vista R$1.430,40R$149 20% Off12x R$119,201 ano de Alura
Todos os benefícios do PLUS (1 ANO) e mais vantagens exclusivas:
- Luri , a inteligência artificial da Alura
Luri é nossa inteligência artificial que tira dúvidas, dá exemplos práticos, corrige exercícios e ajuda a mergulhar ainda mais durante as aulas. Você pode conversar com a Luri até 100 mensagens por semana.
- Alura Língua - Inglês e Espanhol
Aprenda um novo idioma e expanda seus horizontes profissionais. Cursos de Inglês, Espanhol e Inglês para Devs, 100% focado em tecnologia.
Ultra (1 ano)
Transforme a sua jornada com benefícios exclusivos e evolua ainda mais na sua carreira.
Matricule-seÀ vista R$2.006,40R$209 20% Off12x R$167,201 ano de Alura
Todos os benefícios do PRO (1 ANO) e mais vantagens exclusivas:
- Luri , com mensagens ILIMITADAS
Mensagens ilimitadas para estudar com a Luri, a IA da Alura, disponível 24hs para tirar suas dúvidas, dar exemplos práticos, corrigir exercícios e impulsionar seus estudos.
- Luri Vision , a IA que enxerga suas dúvidas
Envie imagens para a Luri e ela te ajuda a solucionar problemas, identificar erros, esclarecer gráficos, analisar design e muito mais.
- Camiseta exclusiva de aniversário (enquanto durarem os estoques)
Brinde aniversário Alura
- 6 Ebooks da Casa do Código
Escolha os ebooks da Casa do Código, a editora da Alura, que apoiarão a sua jornada de aprendizado para sempre.
- Especial promoção aniversário : camiseta exclusiva Alura
Enquanto durarem os estoques
