48h

Para conclusão

5
Cursos
3
Vídeos extras
1
Podcast
3
Artigos

Conheça a formação de Apache Airflow

A formação de Apache Airflow busca preparar estudantes para trabalhar com Engenharia de Dados utilizando a linguagem de programação Python e a ferramenta Apache Airflow.

Funciona como um guia de aprendizado para auxiliar pessoas interessadas em entrar no mercado de trabalho e também como mecanismo de consulta para profissionais experientes.

O QUE É O APACHE AIRFLOW?

O Apache Airflow é uma ferramenta open source, escrita em Python, criada pelo Airbnb em 2014 e atualmente faz parte da Apache Software Foundation. Trata-se de um orquestrador de fluxos, ou seja, nos permite decidir em qual momento e em quais condições nosso programa irá rodar. É utilizada principalmente para criação, monitoramento e agendamento de pipeline de dados de forma programática.

O QUE VAMOS APRENDER?

Nessa formação, vamos aprender a instalar e conhecer a ferramenta Apache Airflow, entendendo e aplicando de forma prática conceitos como: DAGs, orquestração de pipelines e máquinas virtuais.

Você irá construir todo o processo de ETL e terá a oportunidade de se aprofundar nos conceitos de Data Lakes, tratamento e o carregamento de diferentes tipos de camadas.

Por fim, vamos focar nossos estudos nos executores do Airflow e também em como utilizar o Airflow no Kubernetes.

QUAIS SÃO OS PRÉ-REQUISITOS PARA FAZER ESSA FORMAÇÃO?

Para aproveitar melhor esse conteúdo, é importante que você já saiba programar em linguagem Python, conheça conceitos básicos de Linux e como executar comandos no terminal.

Por que estudar esta formação?

  • Guia de aprendizado

    Conteúdos pensados para facilitar seu estudo

  • Do básico ao avançado

    Formação completa para o mercado

  • Você dentro do mercado

    Do zero ao sonhado emprego em sua área de interesse

Comece essa formação agora mesmo e capacite-se para seu próximo projeto!

Conheça os planos

Com quem você vai aprender?

  • Millena Gená Pereira

    Millena Gená é estudante de Ciência da Computação. Atualmente, é Instrutora de Dados aqui na Alura atuando principalmente na área de Engenharia de dados. Ela está sempre procurando aprender algo novo sobre tecnologia e é apaixonada por novas aventuras. Programar e ajudar as pessoas são seus hobbies favoritos! ^^

  • Millena Gená Pereira

    Millena Gená é estudante de Ciência da Computação. Atualmente, é Instrutora de Dados aqui na Alura atuando principalmente na área de Engenharia de dados. Ela está sempre procurando aprender algo novo sobre tecnologia e é apaixonada por novas aventuras. Programar e ajudar as pessoas são seus hobbies favoritos! ^^

  • Daniel Siqueira

    Daniel é instrutor na escola de Dados e professor de Matemática, Física, Química e Inglês. Tem verdadeira paixão em aprender coisas e assuntos novos, e transmitir seus conhecimentos.

  • Daniel Siqueira

    Daniel é instrutor na escola de Dados e professor de Matemática, Física, Química e Inglês. Tem verdadeira paixão em aprender coisas e assuntos novos, e transmitir seus conhecimentos.

  • Igor Nascimento Alves

    Sou graduado em Ciência da Computação. Atuo como instrutor de Data Science e Machine Learning no Grupo Alura, tendo como principais interesses na tecnologia: criação de modelos e análise de dados. Nas horas vagas assisto e analiso dados de basquete e adoro ouvir podcasts de humor como Nerdcast e Jujubacast.

  • Igor Nascimento Alves

    Sou graduado em Ciência da Computação. Atuo como instrutor de Data Science e Machine Learning no Grupo Alura, tendo como principais interesses na tecnologia: criação de modelos e análise de dados. Nas horas vagas assisto e analiso dados de basquete e adoro ouvir podcasts de humor como Nerdcast e Jujubacast.

  • Bruno Raphaell

    Bruno é um instrutor de Data Science e Engenheiro Eletricista pela Universidade Federal do Piauí. Se dedica em áreas como Data Science, Machine Learning e Deep Learning, e possui grande interesse em engenharia de dados e engenharia de machine learning. Além disso, em seu tempo livre, ele gosta de jogar xadrez, tocar instrumentos musicais e jogar League of Legends.

  • Bruno Raphaell

    Bruno é um instrutor de Data Science e Engenheiro Eletricista pela Universidade Federal do Piauí. Se dedica em áreas como Data Science, Machine Learning e Deep Learning, e possui grande interesse em engenharia de dados e engenharia de machine learning. Além disso, em seu tempo livre, ele gosta de jogar xadrez, tocar instrumentos musicais e jogar League of Legends.

  • Marcelo Cruz

  • Marcelo Cruz

  • Paulo Calanca

  • Paulo Calanca

  • Rafael Bottega

  • Rafael Bottega

Passo a passo
  1. 1 Conhecendo o Apache Airflow

    Neste passo inicial, preparamos um conteúdo para ajudar você a conhecer melhor o Apache Airflow e como iniciar um projeto com essa ferramenta.

    Na primeira etapa dessa jornada, você vai aprender a configurar e instalar o Airflow, além de compreender seus principais conceitos e funcionalidades. No final dessa etapa, você será capaz de desenvolver e orquestrar seu primeiro pipeline de dados.

  2. 2 Pipeline de extração e transformação dos dados

    Agora que você já aprendeu a orquestrar seu primeiro pipeline de dados, vamos construir um novo pipeline que fará a extração e a transformação de dados, combinando a ferramenta Airflow para orquestração do pipeline e a ferramenta Spark para transformação dos dados.

    Além disso, vamos armazenar esses dados em um Data Lake. Completando assim todas as etapas de um ETL (Extract, Transform, Load). No final dessa etapa, você será capaz de desenvolver e orquestrar um pipeline de dados com um processo ETL.

    • Alura+ O que são Data Lakes?

    • Podcast Data Lakes – Hipsters Ponto Tech #269

    • Curso Apache Airflow: extração de dados

      10h
      • Faça extração de dados de uma API
      • Crie um Hook para fazer um conexão
      • Crie um Operador para extrair e armazenar dados
      • Crie um DAG para ser orquestrado pelo Airflow
      • Configure sua orquestração de extração com o Airflow
    • Curso Apache Airflow: transformação de dados com Spark

      10h
      • Entenda os motivos para considerar o uso da arquitetura de medalhas no seu Data Lake
      • Saiba como atualizar um pipeline de dados que é orquestrado pelo Airflow
      • Implemente a transformação de dados para a camadas Silver
      • Execute a integração completa entre o Spark e o Airflow
      • Faça a refinação dos dados para a camada Gold
  3. 3 Executores do Airflow

    Essa etapa mostra como configurar e utilizar os diferentes executores do Airflow. Estes executores são mecanismos que lidam com a execução de tarefas. O Airflow possui vários destes mecanismos e a diferença entre eles se resume aos recursos que possuem e à forma como trabalham na execução das tarefas.

    Durante essa etapa você vai aprender a configurar diferentes executores, como: Local, Celery e Kubernetes.

    • Artigo Executores do Airflow: tipos e funções

    • Curso Aprofundando no Airflow: Executores Local e Celery

      08h
      • Crie DAGs para extrair dados do mercado financeiro
      • Entenda o que são os executores do Airflow
      • Aprenda como confiigurar o Executor Local
      • Saiba o que são workers e fila de tarefas
      • Aprenda como configurar o Executor Celery
      • Conheça diferentes configurações de paralelismo do Airflow
    • Artigo Kubernetes: conhecendo a orquestração de containers

    • Curso Aprofundando no Airflow: Executor Kubernetes

      08h
      • Aprenda a configurar um cluster Kubernetes utilizando o minikube
      • Saiba como criar volumes persistentes
      • Entenda o funcionamento do executor Kubernetes do Airflow
      • Conheça as principais vantagens do executor Kubernetes
      • Crie uma imagem customizada para o Airflow
      • Saiba como configurar o Airflow no Kubernetes
      • Desenvolva e execute um DAG no Airflow

Escola

Data Science

Além dessa, a categoria Data Science conta com cursos de Ciência de dados, BI, SQL e Banco de Dados, Excel, Machine Learning, NoSQL, Estatística,e mais...

Conheça a Escola

Comece hoje mesmo os cursos de Apache Airflow. Matricule-se agora!

Plus

De
R$ 1.800
12X
R$109
à vista R$1.308
  • Acesso a TODOS os cursos da Alura

    Mais de 1500 cursos completamente atualizados, com novos lançamentos todas as semanas, emProgramação, Front-end, UX & Design, Data Science, Mobile, DevOps e Inovação & Gestão.

  • Alura Challenges

    Desafios temáticos para você turbinar seu portfólio. Você aprende na prática, com exercícios e projetos que simulam o dia a dia profissional.

  • Alura Cases

    Webséries exclusivas com discussões avançadas sobre arquitetura de sistemas com profissionais de grandes corporações e startups.

  • Certificado

    Emitimos certificados para atestar que você finalizou nossos cursos e formações.

Matricule-se

Pro

De
R$ 2.400
12X
R$149
à vista R$1.788
  • Acesso a TODOS os cursos da Alura

    Mais de 1500 cursos completamente atualizados, com novos lançamentos todas as semanas, emProgramação, Front-end, UX & Design, Data Science, Mobile, DevOps e Inovação & Gestão.

  • Alura Challenges

    Desafios temáticos para você turbinar seu portfólio. Você aprende na prática, com exercícios e projetos que simulam o dia a dia profissional.

  • Alura Cases

    Webséries exclusivas com discussões avançadas sobre arquitetura de sistemas com profissionais de grandes corporações e startups.

  • Certificado

    Emitimos certificados para atestar que você finalizou nossos cursos e formações.

  • Luri powered by ChatGPT

    Luri é nossa inteligência artificial que tira dúvidas, dá exemplos práticos e ajuda a mergulhar ainda mais durante as aulas. Você pode conversar com Luri até 100 mensagens por semana.

  • Alura Língua (incluindo curso Inglês para Devs)

    Estude a língua inglesa com um curso 100% focado em tecnologia e expanda seus horizontes profissionais.

Matricule-se
Conheça os Planos para Empresas

Acesso completo
durante 1 ano

Estude 24h/dia
onde e quando quiser

Novos cursos
todas as semanas