O que você aprenderá_

Faça extração de dados de uma API
Crie um Hook para fazer um conexão
Crie um Operador para extrair e armazenar dados
Crie um DAG para ser orquestrado pelo Airflow
Configure sua orquestração de extração com o Airflow

Público alvo_

Pessoas interessandas em criar um pipeline de extração de dados com o a ferramenta Airflow.

Daniel Siqueira

Daniel é instrutor na escola de Dados e professor de Matemática, Física, Química e Inglês. Tem verdadeira paixão em aprender coisas e assuntos novos, e transmitir seus conhecimentos.

Igor Nascimento Alves

Sou graduado em Ciência da Computação. Atuo como instrutor de Data Science e Machine Learning no Grupo Alura, tendo como principais interesses na tecnologia: criação de modelos e análise de dados. Nas horas vagas assisto e analiso dados de basquete e adoro ouvir podcasts de humor como Nerdcast e Jujubacast.

Curso atualizado em 13/06/2023

Já estuda na Alura?

Comece o curso agora

Ementa

Pipeline de dados
- Conhecendo o projeto
- Data Pipeline
Fonte de dados
- Extração de dados
- Script de extração
- Lendo o JSON
- Unindo páginas do Twitter
Lidando com conexões
- Setup Airflow
- Conceito do Hook
- Conexão Twitter webserver
- Construindo o Hook
- Paginate
- Testando o Hook
Tarefa de extração
- Conceito do Operator
- Construindo o Operator
- Salvando os dados
- Padronizando a saída de dados
- Estrutura do Data Lake
Orquestração Airflow
- Construindo o DAG
- Agendando o DAG

Descubra se esse curso é pra você! Leia as primeiras aulas

Comece essa formação agora mesmo e capacite-se para seu próximo projeto!

Conheça os planos

Este e mais 4 cursos fazem parte das seguintes formações

Nossas formações são uma sequência de cursos e conteúdo para você se profissionalizar e se tornar quem o mercado procura!

Formação
Apache Airflow

10h
De curso

59
Atividades

Escola

Data Science

Trabalhe com dados. Aprofunde seu conhecimento nas principais ferramentas de uma pessoa data scientist. Descubra as diferentes possibilidades de análise de dados, do Excel ao Python, e mergulhe em frameworks e bibliotecas, como Pandas, Scikit-Learn e Seaborn.

Conheça a escola