Estudando esse mês:

Beatriz Ferreira de Barcelos Rafael Bottega Leonan Cardoso da Silva Viana Vitor Hugo de Almeida Marrafon Robert Anderson

e mais 532 alunos(as)

Resumo do curso

  • Crie um Data Pipeline do zero usando as principais ferramentas do mercado
  • Saiba como extrair dados diretamente da API do Twitter
  • Aprenda o que é o Apache Airflow e como usá-lo para orquestrar tarefas
  • Aprenda o que é o Apache Spark e como usá-lo para processamento distribuído
  • Mergulhe fundo em um Data Lake e entenda como melhor usá-lo
  • Extraia conhecimento de dados transformados pelo Data Pipeline

Público alvo

Para engenheiros de dados, pessoas desenvolvedoras Python, analistas de dados e cientistas de dados com interesse em conhecer mais sobre Data Pipelines.

Conteúdo relacionado

Cursos de Engenharia de Dados em Data Science

Leia nossos artigos de Data Science

Já é aluno?

Comece o curso agora

12h

p/ conclusão

64

Atividades

246

Minutos de video

764

Alunos nesse curso

8.8

Nota deste curso

Certificado de participação

Conteúdo Detalhado

  1. O que são Data Pipelines

    • Apresentação
    • Projeto: Extraindo dados do Twitter
    • Conceito de Data Pipelines
    • Apache Airflow
  2. Airflow: Gancho conectado ao Twitter

    • Instalando Airflow
    • Conectando ao Twitter
    • Criando uma conexão
    • Criando um gancho
  3. Airflow: Exportando dados para o Data Lake

    • Criando operadores conectados a ganchos
    • Criando operadores exportando ao Data Lake
    • Criando estágio bruto do Data Lake
    • Criando plugins no Airflow
  4. Spark: Consumindo dados brutos do Data Lake

    • Instalando Spark
    • Lendo dados brutos do Data Lake
    • Analisando dataframes e seu esquema
    • Transformando estruturas complexas em dataframes
  5. Spark: Exportando os dados transformados para o Data Lake

    • Exportando dataframes no Data Lake
    • Segundo estágio do Data Lake
    • Criando o trabalho de transformação no Spark
    • Integrando Spark ao Airflow
  6. Finalizando o Pipeline

    • Criando a DAG
    • Executando a DAG
    • Consumindo as tabelas processadas pelo Spark
    • Conclusão

Ainda não estuda com a gente?

Invista na transformação da sua carreira!

Comece agora

Aprenda Engenharia de Dados com esse e outros cursos, comece agora!

  • 1269 cursos

    Cursos de programação, UX, agilidade, data science, transformação digital, mobile, front-end, marketing e infra.

  • Certificado de participação

    Certificado de que assistiu o curso e finalizou as atividades

  • App para Android e iPhone/iPad

    Estude até mesmo offline através das nossas apps Android e iOS em smartphones e tablets

  • Acesso à Alura Start

    Cursos de introdução a tecnologia através de games, apps e ciência

  • Acesso à Alura Língua

    Reforço online de inglês e espanhol para aprimorar seu conhecimento

Premium

  • 1269 cursos

    Cursos de programação, UX, agilidade, data science, transformação digital, mobile, front-end, marketing e infra.

  • Certificado de participação

    Certificado de que assistiu o curso e finalizou as atividades

  • App para Android e iPhone/iPad

    Estude até mesmo offline através das nossas apps Android e iOS em smartphones e tablets

  • Acesso à Alura Start

    Cursos de introdução a tecnologia através de games, apps e ciência

  • Acesso à Alura Língua

    Reforço online de inglês e espanhol para aprimorar seu conhecimento

12X
R$75
à vista R$900
Matricule-se

Premium Plus

  • 1269 cursos

    Cursos de programação, UX, agilidade, data science, transformação digital, mobile, front-end, marketing e infra.

  • Certificado de participação

    Certificado de que assistiu o curso e finalizou as atividades

  • App para Android e iPhone/iPad

    Estude até mesmo offline através das nossas apps Android e iOS em smartphones e tablets

  • Acesso à Alura Start

    Cursos de introdução a tecnologia através de games, apps e ciência

  • Acesso à Alura Língua

    Reforço online de inglês e espanhol para aprimorar seu conhecimento

12X
R$100
à vista R$1.200
Matricule-se

Max

  • 1269 cursos

    Cursos de programação, UX, agilidade, data science, transformação digital, mobile, front-end, marketing e infra.

  • Certificado de participação

    Certificado de que assistiu o curso e finalizou as atividades

  • App para Android e iPhone/iPad

    Estude até mesmo offline através das nossas apps Android e iOS em smartphones e tablets

  • Acesso à Alura Start

    Cursos de introdução a tecnologia através de games, apps e ciência

  • Acesso à Alura Língua

    Reforço online de inglês e espanhol para aprimorar seu conhecimento

12X
R$120
à vista R$1.440
Matricule-se
Conheça os Planos para Empresas

Acesso completo
durante 1 ano

Estude 24h/dia
onde e quando quiser

Novos cursos
todas as semanas