O que você aprenderá_
- Faça extração de dados de uma API
- Crie um Hook para fazer um conexão
- Crie um Operador para extrair e armazenar dados
- Crie um DAG para ser orquestrado pelo Airflow
- Configure sua orquestração de extração com o Airflow
Público alvo_
Pessoas interessandas em criar um pipeline de extração de dados com o a ferramenta Airflow.
Daniel Siqueira
Daniel é instrutor na escola de Dados e professor de Matemática, Física, Química e Inglês. Tem verdadeira paixão em aprender coisas e assuntos novos, e transmitir seus conhecimentos.
Igor Nascimento Alves
Sou graduado em Ciência da Computação. Atuo como instrutor de Data Science e Machine Learning no Grupo Alura, tendo como principais interesses na tecnologia: criação de modelos e análise de dados. Nas horas vagas assisto e analiso dados de basquete e adoro ouvir podcasts de humor como Nerdcast e Jujubacast.
Curso atualizado em 13/06/2023
Já estuda na Alura?
Comece o curso agoraEmenta
Pipeline de dados
- Conhecendo o projeto
- Data Pipeline
Fonte de dados
- Extração de dados
- Script de extração
- Lendo o JSON
- Unindo páginas do Twitter
Lidando com conexões
- Setup Airflow
- Conceito do Hook
- Conexão Twitter webserver
- Construindo o Hook
- Paginate
- Testando o Hook
Tarefa de extração
- Conceito do Operator
- Construindo o Operator
- Salvando os dados
- Padronizando a saída de dados
- Estrutura do Data Lake
Orquestração Airflow
- Construindo o DAG
- Agendando o DAG
Descubra se esse curso é pra você! Leia as primeiras aulas
-
Formação
Apache Airflow
10h
De curso
59
Atividades
Escola
Data Science
Pessoas estudando esse curso nesse mês:
Estude com elas
GUTEMBERG RIBEIRO MORAIS FILHO
Felipe dos Santos Reis
Francisco Hoffmann
Eduardo Junior da Rocha
Rodrigo Azevedo
e mais 168 pessoas
e mais 168 pessoas
Faça parte da nossa comunidade no discord!
Troque conhecimentos com a comunidade da Alura
Aprenda Engenharia de Dados com esse e outros cursos, comece agora!
Plus
De
R$ 1.800
12X
R$109
à vista
R$1.308
- Acesso a TODOS os cursos da Alura
Mais de 1500 cursos completamente atualizados, com novos lançamentos todas as semanas, emProgramação, Front-end, UX & Design, Data Science, Mobile, DevOps e Inovação & Gestão.
- Alura Challenges
Desafios temáticos para você turbinar seu portfólio. Você aprende na prática, com exercícios e projetos que simulam o dia a dia profissional.
- Alura Cases
Webséries exclusivas com discussões avançadas sobre arquitetura de sistemas com profissionais de grandes corporações e startups.
- Certificado
Emitimos certificados para atestar que você finalizou nossos cursos e formações.
Pro
De
R$ 2.400
12X
R$149
à vista
R$1.788
- Acesso a TODOS os cursos da Alura
Mais de 1500 cursos completamente atualizados, com novos lançamentos todas as semanas, emProgramação, Front-end, UX & Design, Data Science, Mobile, DevOps e Inovação & Gestão.
- Alura Challenges
Desafios temáticos para você turbinar seu portfólio. Você aprende na prática, com exercícios e projetos que simulam o dia a dia profissional.
- Alura Cases
Webséries exclusivas com discussões avançadas sobre arquitetura de sistemas com profissionais de grandes corporações e startups.
- Certificado
Emitimos certificados para atestar que você finalizou nossos cursos e formações.
- Luri powered by ChatGPT
Luri é nossa inteligência artificial que tira dúvidas, dá exemplos práticos e ajuda a mergulhar ainda mais durante as aulas. Você pode conversar com Luri até 100 mensagens por semana.
- Alura Língua (incluindo curso Inglês para Devs)
Estude a língua inglesa com um curso 100% focado em tecnologia e expanda seus horizontes profissionais.
Acesso completo
durante 1 ano
Estude 24h/dia
onde e quando quiser
Novos cursos
todas as semanas