O que você aprenderá_
- Entenda como construir um pipeline de Engenharia de Dados
- Crie e estruture um Data Lake utilizando o Azure Data Lake Storage Gen 2
- Configure o Databricks com o serviço de Cloud da Azure
- Desenvolva notebooks no Databricks utilizando a linguagem Scala
- Construa pipelines utilizando o Azure Data Factory
- Integre todo seu projeto de Engenharia de Dados com o GitHub
- Defina gatilhos de execução e coloque seu pipeline em produção
Público alvo_
Pessoas engenheiras de dados; profissionais que desejam integrar Databricks com a Azure; pessoas que desejam construir um pipeline completo de engenharia de dados para acrescentar ao portfólio.
Millena Gená Pereira
Millena Gená é estudante de Ciência da Computação. Atualmente, é Instrutora de Dados aqui na Alura atuando principalmente na área de Engenharia de dados. Ela está sempre procurando aprender algo novo sobre tecnologia e é apaixonada por novas aventuras. Programar e ajudar as pessoas são seus hobbies favoritos! ^^
Curso atualizado em 03/07/2023
Já estuda na Alura?
Comece o curso agoraEmenta
Configurando recursos da Azure
- Entendendo o pipeline
- Criando um grupo de recursos
Estruturando o Data Lake
- Criando a conta de armazenamento
- Estruturando diretórios do Data Lake
- Criando um registro de aplicativo
- Atribuindo permissões
Preparando o Databricks
- Configurando o Databricks
- Integrando Databricks com GitHub
- Criando um cluster
Trabalhando os dados no Databricks
- Montando acesso aos dados
- Executando o mount no Databricks
- Transformando os dados para a camada bronze
- Transformando os dados para a camada silver
- Salvando os notebooks no GitHub
Orquestrando com Data Factory
- Criando o Data Factory
- Integrando Data Factory com GitHub
- Criando um pipeline
- Configurando acesso ao Databricks
Finalizando a orquestração
- Testando o pipeline
- Criando um gatilho
- Deletando os recursos
Descubra se esse curso é pra você! Leia as primeiras aulas
-
Formação
Engenharia de dados com Databricks
10h
De curso
60
Atividades
Escola
Data Science
Pessoas estudando esse curso nesse mês:
Estude com elas
Everton Francisco da Silva
Vítor Henrique Spader
Davisson Eduardo da Silva Ferreira
Renan de Oliveira Fernandes
Eduardo do Couto Alves
e mais 91 pessoas
e mais 91 pessoas
Faça parte da nossa comunidade no discord!
Troque conhecimentos com a comunidade da Alura
Escolha a duração
do seu plano
Plus (1 ano)
Impulsione a sua carreira com os melhores cursos e faça parte da maior comunidade tech.
Matricule-seÀ vista R$1.046,40R$109 20% Off12x R$87,201 ano de Alura
Assine o PLUS (1 ANO) e garanta:
- Acesso a TODOS os cursos por 1 ano
Formações com mais de 1500 cursos atualizados e novos lançamentos semanais, em Programação, Inteligência Artificial, Front-end, UX & Design, Data Science, Mobile, DevOps e Inovação & Gestão.
- Certificado
A cada curso ou formação concluído, um novo certificado para turbinar seu currículo e LinkedIn.
- Mentorias com especialistas
No Discord, você tem acesso a eventos exclusivos, grupos de estudos e mentorias com especialistas de diferentes áreas.
- Comunidade exclusiva
Faça parte da maior comunidade Dev do país e crie conexões com mais de 120 mil pessoas no Discord.
- Acesso ao conteúdo das Imersões
Acesso ilimitado ao catálogo de Imersões da Alura para praticar conhecimentos em diferentes áreas.
- App Android e iOS para estudar onde quiser
Explore um universo de possibilidades na palma da sua mão. Baixe as aulas para assistir offline, onde e quando quiser.
-
O mais escolhido
Pro (1 ano)
Acelere o seu aprendizado com a IA da Alura e prepare-se para o mercado internacional.
Matricule-seÀ vista R$1.430,40R$149 20% Off12x R$119,201 ano de Alura
Todos os benefícios do PLUS (1 ANO) e mais vantagens exclusivas:
- Luri , a inteligência artificial da Alura
Luri é nossa inteligência artificial que tira dúvidas, dá exemplos práticos, corrige exercícios e ajuda a mergulhar ainda mais durante as aulas. Você pode conversar com a Luri até 100 mensagens por semana.
- Alura Língua - Inglês e Espanhol
Aprenda um novo idioma e expanda seus horizontes profissionais. Cursos de Inglês, Espanhol e Inglês para Devs, 100% focado em tecnologia.
Ultra (1 ano)
Transforme a sua jornada com benefícios exclusivos e evolua ainda mais na sua carreira.
Matricule-seÀ vista R$2.006,40R$209 20% Off12x R$167,201 ano de Alura
Todos os benefícios do PRO (1 ANO) e mais vantagens exclusivas:
- Luri , com mensagens ILIMITADAS
Mensagens ilimitadas para estudar com a Luri, a IA da Alura, disponível 24hs para tirar suas dúvidas, dar exemplos práticos, corrigir exercícios e impulsionar seus estudos.
- Luri Vision , a IA que enxerga suas dúvidas
Envie imagens para a Luri e ela te ajuda a solucionar problemas, identificar erros, esclarecer gráficos, analisar design e muito mais.
- Camiseta exclusiva de aniversário (enquanto durarem os estoques)
Brinde aniversário Alura
- 6 Ebooks da Casa do Código
Escolha os ebooks da Casa do Código, a editora da Alura, que apoiarão a sua jornada de aprendizado para sempre.
- Especial promoção aniversário : camiseta exclusiva Alura
Enquanto durarem os estoques
