Logo do curso
Curso

Databricks:

construindo pipelines de dados com Airflow e Azure Databricks

Quero estudar na alura

10h

Para conclusão

552

Pessoas nesse curso

9.2

Avaliação média

Certificado

De participação

Introdução_

O que você aprenderá_

  • Saiba como acessar os recursos do Azure Databricks
  • Aprenda a extrair dados de uma API
  • Entenda como controlar os gastos utilizando a Azure
  • Realize a escrita do arquivo em formatos como Parquet e CSV
  • Aprenda a tranformar os dados extraídos da API
  • Saiba como criar um bot no Slack
  • Realize a orquestração de todo o Pipeline de dados usando o Airflow

Público alvo_

Pessoa engenheira de dados; pessoa cientista de dados.

Bruno Raphaell

github

linkedin

Bruno é um instrutor de Data Science e Engenheiro Eletricista pela Universidade Federal do Piauí. Se dedica em áreas como Data Science, Machine Learning e Deep Learning, e possui grande interesse em engenharia de dados e engenharia de machine learning. Além disso, em seu tempo livre, ele gosta de jogar xadrez, tocar instrumentos musicais e jogar League of Legends.

Curso atualizado em 08/01/2024

Ementa

  1. Fundamentos: Airflow, Azure e API

    • Instalando e configurando o Airflow
    • Acessando o Azure Databricks
    • Acessando a API
  2. Solicitando, construindo, salvando e orquestrando

    • Fazendo requisição da API
    • Estruturando o carregamento dos dados
    • Salvando os dados em Parquet
    • Refatorando o código
    • Orquestrando as execuções com o Airflow #1
    • Orquestrando as execuções com o Airflow #2
  3. Transformando os dados

    • Filtrando os dados
    • Organizando o DataFrame
    • Salvando os dados em CSV
    • Orquestrando a transformação dos dados
  4. Compartilhando arquivos no Slack

    • Criando um bot do Slack
    • Enviando a arquivo CSV
    • Enviando os gráficos
  5. Finalizando o Pipeline

    • Orquestrando o pipeline completo
    • Deletando os recursos criados

Descubra se esse curso é pra você! Leia as primeiras aulas

Comece essa formação agora mesmo e capacite-se para seu próximo projeto!

Conheça os planos

Este e mais 5 cursos fazem parte das seguintes formações

Nossas formações são uma sequência de cursos e conteúdo para você se profissionalizar e se tornar quem o mercado procura!
Escola

Data Science

Trabalhe com dados. Aprofunde seu conhecimento nas principais ferramentas de uma pessoa data scientist. Descubra as diferentes possibilidades de análise de dados, do Excel ao Python, e mergulhe em frameworks e bibliotecas, como Pandas, Scikit-Learn e Seaborn.

Conheça a escola

Pessoas estudando esse curso nesse mês:

Estude com elas

e mais 67 pessoas

Faça parte da nossa comunidade no discord!

Troque conhecimentos com a comunidade da Alura

Aprenda Engenharia de Dados com esse e outros cursos, comece agora!

Plus

De
R$ 1.800
12X
R$109
à vista R$1.308
  • Acesso a TODOS os cursos da Alura

    Mais de 1500 cursos completamente atualizados, com novos lançamentos todas as semanas, emProgramação, Front-end, UX & Design, Data Science, Mobile, DevOps e Inovação & Gestão.

  • Alura Challenges

    Desafios temáticos para você turbinar seu portfólio. Você aprende na prática, com exercícios e projetos que simulam o dia a dia profissional.

  • Alura Cases

    Webséries exclusivas com discussões avançadas sobre arquitetura de sistemas com profissionais de grandes corporações e startups.

  • Certificado

    Emitimos certificados para atestar que você finalizou nossos cursos e formações.

Matricule-se

Pro

De
R$ 2.400
12X
R$149
à vista R$1.788
  • Acesso a TODOS os cursos da Alura

    Mais de 1500 cursos completamente atualizados, com novos lançamentos todas as semanas, emProgramação, Front-end, UX & Design, Data Science, Mobile, DevOps e Inovação & Gestão.

  • Alura Challenges

    Desafios temáticos para você turbinar seu portfólio. Você aprende na prática, com exercícios e projetos que simulam o dia a dia profissional.

  • Alura Cases

    Webséries exclusivas com discussões avançadas sobre arquitetura de sistemas com profissionais de grandes corporações e startups.

  • Certificado

    Emitimos certificados para atestar que você finalizou nossos cursos e formações.

  • Luri, a inteligência artificial da Alura

    Luri é nossa inteligência artificial que tira dúvidas, dá exemplos práticos e ajuda a mergulhar ainda mais durante as aulas. Você pode conversar com Luri até 100 mensagens por semana.

  • Alura Língua (incluindo curso Inglês para Devs)

    Estude a língua inglesa com um curso 100% focado em tecnologia e expanda seus horizontes profissionais.

Matricule-se
Conheça os Planos para Empresas

Acesso completo
durante 1 ano

Estude 24h/dia
onde e quando quiser

Novos cursos
todas as semanas