O que você aprenderá_
- Saiba como acessar os recursos do Azure Databricks
- Aprenda a extrair dados de uma API
- Entenda como controlar os gastos utilizando a Azure
- Realize a escrita do arquivo em formatos como Parquet e CSV
- Aprenda a tranformar os dados extraídos da API
- Saiba como criar um bot no Slack
- Realize a orquestração de todo o Pipeline de dados usando o Airflow
Público alvo_
Pessoa engenheira de dados; pessoa cientista de dados.
Bruno Raphaell
Bruno é um instrutor de Data Science e Engenheiro Eletricista pela Universidade Federal do Piauí. Se dedica em áreas como Data Science, Machine Learning e Deep Learning, e possui grande interesse em engenharia de dados e engenharia de machine learning. Além disso, em seu tempo livre, ele gosta de jogar xadrez, tocar instrumentos musicais e jogar League of Legends.
Curso atualizado em 08/01/2024
Já estuda na Alura?
Comece o curso agoraEmenta
Fundamentos: Airflow, Azure e API
- Instalando e configurando o Airflow
- Acessando o Azure Databricks
- Acessando a API
Solicitando, construindo, salvando e orquestrando
- Fazendo requisição da API
- Estruturando o carregamento dos dados
- Salvando os dados em Parquet
- Refatorando o código
- Orquestrando as execuções com o Airflow #1
- Orquestrando as execuções com o Airflow #2
Transformando os dados
- Filtrando os dados
- Organizando o DataFrame
- Salvando os dados em CSV
- Orquestrando a transformação dos dados
Compartilhando arquivos no Slack
- Criando um bot do Slack
- Enviando a arquivo CSV
- Enviando os gráficos
Finalizando o Pipeline
- Orquestrando o pipeline completo
- Deletando os recursos criados
Descubra se esse curso é pra você! Leia as primeiras aulas
-
Formação
Engenharia de dados com Databricks
10h
De curso
52
Atividades
Escola
Data Science
Pessoas estudando esse curso nesse mês:
Estude com elas
Gian Henrique dos Santos da Costa
Luan Eric Silva Fernandes
Tiago Barbosa da Silva
Gabriel Menezes de Oliveira
VICTOR BASTOS DOS SANTOS
e mais 63 pessoas
e mais 63 pessoas
Faça parte da nossa comunidade no discord!
Troque conhecimentos com a comunidade da Alura
Aprenda Engenharia de Dados com esse e outros cursos, comece agora!
Plus
De
R$ 1.800por
12X
R$109
à vista
R$1.308
- Acesso a TODOS os cursos por 1 ano
Formações com mais de 1500 cursos atualizados e novos lançamentos semanais, em Programação, Inteligência Artificial, Front-end, UX & Design, Data Science, Mobile, DevOps e Inovação & Gestão.
- Certificado
A cada curso ou formação concluído, um novo certificado para turbinar seu currículo e LinkedIn.
- Mentorias com especialistas
No Discord, você tem acesso a eventos exclusivos, grupos de estudos e mentorias com especialistas de diferentes áreas.
- Comunidade exclusiva
Faça parte da maior comunidade Dev do país e crie conexões com mais de 120 mil pessoas no Discord.
- Acesso ao conteúdo das Imersões
Acesso ilimitado ao catálogo de Imersões da Alura para praticar conhecimentos em diferentes áreas.
- App Android e iOS para estudar onde quiser
Explore um universo de possibilidades na palma da sua mão. Baixe as aulas para assistir offline, onde e quando quiser.
Pro
De
R$ 2.400por
12X
R$149
à vista
R$1.788
- Acesso a TODOS os cursos por 1 ano
Formações com mais de 1500 cursos atualizados e novos lançamentos semanais, em Programação, Inteligência Artificial, Front-end, UX & Design, Data Science, Mobile, DevOps e Inovação & Gestão.
- Certificado
A cada curso ou formação concluído, um novo certificado para turbinar seu currículo e LinkedIn.
- Mentorias com especialistas
No Discord, você tem acesso a eventos exclusivos, grupos de estudos e mentorias com especialistas de diferentes áreas.
- Comunidade exclusiva
Faça parte da maior comunidade Dev do país e crie conexões com mais de 120 mil pessoas no Discord.
- Acesso ao conteúdo das Imersões
Acesso ilimitado ao catálogo de Imersões da Alura para praticar conhecimentos em diferentes áreas.
- App Android e iOS para estudar onde quiser
Explore um universo de possibilidades na palma da sua mão. Baixe as aulas para assistir offline, onde e quando quiser.
- Luri, a inteligência artificial da Alura
Luri é nossa inteligência artificial que tira dúvidas, dá exemplos práticos, corrige exercícios e ajuda a mergulhar ainda mais durante as aulas. Você pode conversar com a Luri até 100 mensagens por semana.
- Alura Língua - Inglês e Espanhol
Aprenda um novo idioma e expanda seus horizontes profissionais. Cursos de Inglês, Espanhol e Inglês para Devs, 100% focado em tecnologia.
Ultra
12X
R$209
à vista
R$2.508
- Acesso a TODOS os cursos por 1 ano
Formações com mais de 1500 cursos atualizados e novos lançamentos semanais, em Programação, Inteligência Artificial, Front-end, UX & Design, Data Science, Mobile, DevOps e Inovação & Gestão.
- Certificado
A cada curso ou formação concluído, um novo certificado para turbinar seu currículo e LinkedIn.
- Mentorias com especialistas
No Discord, você tem acesso a eventos exclusivos, grupos de estudos e mentorias com especialistas de diferentes áreas.
- Comunidade exclusiva
Faça parte da maior comunidade Dev do país e crie conexões com mais de 120 mil pessoas no Discord.
- Acesso ao conteúdo das Imersões
Acesso ilimitado ao catálogo de Imersões da Alura para praticar conhecimentos em diferentes áreas.
- App Android e iOS para estudar onde quiser
Explore um universo de possibilidades na palma da sua mão. Baixe as aulas para assistir offline, onde e quando quiser.
- Luri, com mensagens ILIMITADAS
Mensagens ilimitadas para estudar com a Luri, a IA da Alura, disponível 24hs para tirar suas dúvidas, dar exemplos práticos, corrigir exercícios e impulsionar seus estudos.
- Luri Vision, a IA que enxerga suas dúvidas
Envie imagens para a Luri e ela te ajuda a solucionar problemas, identificar erros, esclarecer gráficos, analisar design e muito mais.
- Alura Língua - Inglês e Espanhol
Aprenda um novo idioma e expanda seus horizontes profissionais. Cursos de Inglês, Espanhol e Inglês para Devs, 100% focado em tecnologia.
- 6 Ebooks da Casa do Código
Escolha os ebooks da Casa do Código, a editora da Alura, que apoiarão a sua jornada de aprendizado para sempre.
Acesso completo
durante 1 ano
Estude 24h/dia
onde e quando quiser
Novos cursos
todas as semanas