Name: Curso Engenharia de dados: Conhecendo Apache Airflow
Rating: 4.4 (247 reviews)

Estudando este mês:

Caio Vinicius Da Fonseca De Oliveira Norce

e mais 552 alunos(as)

Resumo do curso

Crie um Data Pipeline do zero usando as principais ferramentas do mercado
Saiba como extrair dados diretamente da API do Twitter
Aprenda o que é o Apache Airflow e como usá-lo para orquestrar tarefas
Aprenda o que é o Apache Spark e como usá-lo para processamento distribuído
Mergulhe fundo em um Data Lake e entenda como melhor usá-lo
Extraia conhecimento de dados transformados pelo Data Pipeline

Público alvo

Para engenheiros de dados, pessoas desenvolvedoras Python, analistas de dados e cientistas de dados com interesse em conhecer mais sobre Data Pipelines.

Conteúdo relacionado

Cursos de Engenharia de Dados em Data Science

Leia nossos artigos de Data Science

Já é aluno?

Comece o curso agora

12h

p/ conclusão

Atividades

246

Minutos de video

1668

Alunos nesse curso

8.8

Nota deste curso

Certificado de participação

Um pouco mais do conteúdo

Descubra se esse curso é pra você lendo as primeiras aulas de Engenharia de dados: Conhecendo Apache Airflow

Formação com esse curso

Iniciando com Engenharia de Dados

Instrutores

Rafael Bottega
Linkedin Github

Conteúdo Detalhado

O que são Data Pipelines
- Apresentação
- Projeto: Extraindo dados do Twitter
- Conceito de Data Pipelines
- Apache Airflow
Airflow: Gancho conectado ao Twitter
- Instalando Airflow
- Conectando ao Twitter
- Criando uma conexão
- Criando um gancho
Airflow: Exportando dados para o Data Lake
- Criando operadores conectados a ganchos
- Criando operadores exportando ao Data Lake
- Criando estágio bruto do Data Lake
- Criando plugins no Airflow
Spark: Consumindo dados brutos do Data Lake
- Instalando Spark
- Lendo dados brutos do Data Lake
- Analisando dataframes e seu esquema
- Transformando estruturas complexas em dataframes
Spark: Exportando os dados transformados para o Data Lake
- Exportando dataframes no Data Lake
- Segundo estágio do Data Lake
- Criando o trabalho de transformação no Spark
- Integrando Spark ao Airflow
Finalizando o Pipeline
- Criando a DAG
- Executando a DAG
- Consumindo as tabelas processadas pelo Spark
- Conclusão

Ainda não estuda com a gente?

Invista na transformação da sua carreira!

Comece agora

Cursos relacionados em Engenharia de Dados

nossos alunos e alunas

Experiências de quem já mergulhou com a gente.

O conteúdo é muito extenso e denso, acho que deveria ser dividido ou precedido por um curso focado em pyspark.

Engenharia de dados: Conhecendo Apache Airflow

Jefferson Alexandre Silva

Curso introdutório que abrangeu tecnologias importantes utilizadas na atualidade na Engenharia de Dados. Os exemplos apresentados foram excelentes. Ficou faltando um pouco mais de conteúdo acerca do Zeppelin. Parabéns.

Engenharia de dados: Conhecendo Apache Airflow

Eduardo Batista de Melo

Esse curso é sensacional! Eu já fiz vários cursos de Machine Learning aqui na Alura, e mesmo assim eu sinto dificuldade em converter informação não estruturada de minha empresa para poder fazer um treinamento decente de Machine. Este curso do Rafael Boittega veio como uma luva! Era o que eu estava procurando! Vou repetir esse curso para conectar com dados de minha empresa e, assim, montar algum projeto interessante.

Engenharia de dados: Conhecendo Apache Airflow

MIGUEL ANGELO DE BARROS MOUTINHO NETO

Aprenda Engenharia de Dados com esse e outros cursos, comece agora!

Acesso a TODOS os cursos da plataforma
Mais de 1200 cursos completamente atualizados, com novos lançamentos todas as semanas, em Programação, Front-end, UX & Design, Data Science, Mobile, DevOps e Inovação & Gestão.
Alura Challenges
Desafios temáticos para você turbinar seu portfólio. Você aprende na prática, com exercícios e projetos que simulam o dia a dia profissional.
Alura Cases
Webséries exclusivas com discussões avançadas sobre arquitetura de sistemas com profissionais de grandes corporações e startups.
Certificado
Emitimos certificados para atestar que você finalizou nossos cursos e formações.
Alura Língua (incluindo curso Inglês para Devs)
Estude a língua inglesa com um curso 100% focado em tecnologia e expanda seus horizontes profissionais.

12X

R$85

à vista R$1.020

Matricule-se

Acesso a TODOS os cursos da plataforma
Mais de 1200 cursos completamente atualizados, com novos lançamentos todas as semanas, em Programação, Front-end, UX & Design, Data Science, Mobile, DevOps e Inovação & Gestão.
Alura Challenges
Desafios temáticos para você turbinar seu portfólio. Você aprende na prática, com exercícios e projetos que simulam o dia a dia profissional.
Alura Cases
Webséries exclusivas com discussões avançadas sobre arquitetura de sistemas com profissionais de grandes corporações e startups.
Certificado
Emitimos certificados para atestar que você finalizou nossos cursos e formações.
Alura Língua (incluindo curso Inglês para Devs)
Estude a língua inglesa com um curso 100% focado em tecnologia e expanda seus horizontes profissionais.

12X

R$120

à vista R$1.440

Matricule-se

Conheça os Planos para Empresas

Acesso completo
durante 1 ano

Estude 24h/dia
onde e quando quiser

Novos cursos
todas as semanas

Engenharia de dados: Conhecendo Apache Airflow

Estudando este mês:

Resumo do curso

Público alvo

Conteúdo relacionado

Já é aluno?

Um pouco mais do conteúdo

Formação com esse curso

Instrutores

Rafael Bottega

Conteúdo Detalhado

O que são Data Pipelines

Airflow: Gancho conectado ao Twitter

Airflow: Exportando dados para o Data Lake

Spark: Consumindo dados brutos do Data Lake

Spark: Exportando os dados transformados para o Data Lake

Finalizando o Pipeline

Cursos relacionados em Engenharia de Dados

nossos alunos e alunas

Experiências de quem já mergulhou com a gente.

Jefferson Alexandre Silva

Eduardo Batista de Melo

MIGUEL ANGELO DE BARROS MOUTINHO NETO

Aprenda Engenharia de Dados com esse e outros cursos, comece agora!

Plus

Pro

Cursos