Logo do curso
Curso

Databricks e Data Factory:

criando e orquestrando pipelines na nuvem

Quero estudar na alura

10h

Para conclusão

805

Pessoas nesse curso

9.4

Avaliação média

Certificado

De participação

Introdução_

O que você aprenderá_

  • Entenda como construir um pipeline de Engenharia de Dados
  • Crie e estruture um Data Lake utilizando o Azure Data Lake Storage Gen 2
  • Configure o Databricks com o serviço de Cloud da Azure
  • Desenvolva notebooks no Databricks utilizando a linguagem Scala
  • Construa pipelines utilizando o Azure Data Factory
  • Integre todo seu projeto de Engenharia de Dados com o GitHub
  • Defina gatilhos de execução e coloque seu pipeline em produção

Público alvo_

Pessoas engenheiras de dados; profissionais que desejam integrar Databricks com a Azure; pessoas que desejam construir um pipeline completo de engenharia de dados para acrescentar ao portfólio.

Millena Gená Pereira

github

linkedin

Millena Gená é estudante de Ciência da Computação. Atualmente, é Instrutora de Dados aqui na Alura atuando principalmente na área de Engenharia de dados. Ela está sempre procurando aprender algo novo sobre tecnologia e é apaixonada por novas aventuras. Programar e ajudar as pessoas são seus hobbies favoritos! ^^

Curso atualizado em 03/07/2023

Ementa

  1. Configurando recursos da Azure

    • Entendendo o pipeline
    • Criando um grupo de recursos
  2. Estruturando o Data Lake

    • Criando a conta de armazenamento
    • Estruturando diretórios do Data Lake
    • Criando um registro de aplicativo
    • Atribuindo permissões
  3. Preparando o Databricks

    • Configurando o Databricks
    • Integrando Databricks com GitHub
    • Criando um cluster
  4. Trabalhando os dados no Databricks

    • Montando acesso aos dados
    • Executando o mount no Databricks
    • Transformando os dados para a camada bronze
    • Transformando os dados para a camada silver
    • Salvando os notebooks no GitHub
  5. Orquestrando com Data Factory

    • Criando o Data Factory
    • Integrando Data Factory com GitHub
    • Criando um pipeline
    • Configurando acesso ao Databricks
  6. Finalizando a orquestração

    • Testando o pipeline
    • Criando um gatilho
    • Deletando os recursos

Descubra se esse curso é pra você! Leia as primeiras aulas

Comece essa formação agora mesmo e capacite-se para seu próximo projeto!

Conheça os planos

Este e mais 5 cursos fazem parte das seguintes formações

Nossas formações são uma sequência de cursos e conteúdo para você se profissionalizar e se tornar quem o mercado procura!
Escola

Data Science

Trabalhe com dados. Aprofunde seu conhecimento nas principais ferramentas de uma pessoa data scientist. Descubra as diferentes possibilidades de análise de dados, do Excel ao Python, e mergulhe em frameworks e bibliotecas, como Pandas, Scikit-Learn e Seaborn.

Conheça a escola

Pessoas estudando esse curso nesse mês:

Estude com elas

e mais 135 pessoas

Faça parte da nossa comunidade no discord!

Troque conhecimentos com a comunidade da Alura

Aprenda Engenharia de Dados com esse e outros cursos, comece agora!

Plus

De
R$ 1.800
12X
R$109
à vista R$1.308
  • Acesso a TODOS os cursos da Alura

    Mais de 1500 cursos completamente atualizados, com novos lançamentos todas as semanas, emProgramação, Front-end, UX & Design, Data Science, Mobile, DevOps e Inovação & Gestão.

  • Alura Challenges

    Desafios temáticos para você turbinar seu portfólio. Você aprende na prática, com exercícios e projetos que simulam o dia a dia profissional.

  • Alura Cases

    Webséries exclusivas com discussões avançadas sobre arquitetura de sistemas com profissionais de grandes corporações e startups.

  • Certificado

    Emitimos certificados para atestar que você finalizou nossos cursos e formações.

Matricule-se

Pro

De
R$ 2.400
12X
R$149
à vista R$1.788
  • Acesso a TODOS os cursos da Alura

    Mais de 1500 cursos completamente atualizados, com novos lançamentos todas as semanas, emProgramação, Front-end, UX & Design, Data Science, Mobile, DevOps e Inovação & Gestão.

  • Alura Challenges

    Desafios temáticos para você turbinar seu portfólio. Você aprende na prática, com exercícios e projetos que simulam o dia a dia profissional.

  • Alura Cases

    Webséries exclusivas com discussões avançadas sobre arquitetura de sistemas com profissionais de grandes corporações e startups.

  • Certificado

    Emitimos certificados para atestar que você finalizou nossos cursos e formações.

  • Luri powered by ChatGPT

    Luri é nossa inteligência artificial que tira dúvidas, dá exemplos práticos e ajuda a mergulhar ainda mais durante as aulas. Você pode conversar com Luri até 100 mensagens por semana.

  • Alura Língua (incluindo curso Inglês para Devs)

    Estude a língua inglesa com um curso 100% focado em tecnologia e expanda seus horizontes profissionais.

Matricule-se
Conheça os Planos para Empresas

Acesso completo
durante 1 ano

Estude 24h/dia
onde e quando quiser

Novos cursos
todas as semanas