36h

Para conclusão

4
Cursos
4
Artigos

Essa formação está em pré-lançamento! O que isso quer dizer? Uma formação em pré-lançamento indica que o time está trabalhando nela nesse exato momento.

Você já pode fazer os primeiros cursos dessa formação. Ela continuará a ser criada a partir do seu feedback no fim dos cursos e no nosso Discord.

Conheça a Formação AWS Data Lake

A formação AWS Data Lake da Alura tem como objetivo preparar a pessoa aluna para trabalhar com Engenharia de Dados utilizando serviços da AWS, Apache Spark e Python.

Funciona como um guia de aprendizado para auxiliar pessoas interessadas em entrar no mercado de trabalho e também como mecanismo de consulta para profissionais experientes.

O que é AWS?

A AWS (Amazon Web Services) é uma plataforma de serviços em nuvem oferecida pela Amazon. No contexto de Engenharia de Dados, a AWS desempenha um papel significativo ao fornecer uma variedade de serviços e ferramentas que facilitam a coleta, processamento, armazenamento e análise de grandes volumes de dados.

O que vamos aprender?

Nesta formação, vamos aprender a construir um Data Lake na AWS com uma pipeline completa desde a ingestão de dados externos, processamento e ETL, até análise de dados, construção de dashboard e construção de IaaC (Infraestrutura como Código).

Você vai manipular dados utilizando Apache Spark, Python e diferentes bibliotecas como urllib, boto3, BytesIO, entre outras. Além disso, vai aprender sobre boas práticas na manipulação de grande volume de dados, como salvar os arquivos em Parquet, aumentar o número de workers no AWS Glue e fazer processamento distribuído com AWS EMR.

Você também irá aprender sobre a criação de dashboards no Quicksight, boas práticas de DataViz, GenAI na visualização de dados, etc. Outro tópico bastante importante no dia a dia de um Engenheiro de Dados é a Infraestrutura como código, que possibilita que infraestruturas sejam rapidamente criadas e configuradas, além de permitir que códigos sejam reutilizados.

Quais são os pré-requisitos para fazer essa formação?

Para melhor aproveitamento do conteúdo, recomendamos que você já saiba programar em Python, tenha algum conhecimento em Spark e Cloud Computing.

Por que estudar esta formação?

  • Guia de aprendizado

    Conteúdos pensados para facilitar seu estudo

  • Do básico ao avançado

    Formação completa para o mercado

  • Você dentro do mercado

    Do zero ao sonhado emprego em sua área de interesse

Comece essa formação agora mesmo e capacite-se para seu próximo projeto!

Conheça os planos

Com quem você vai aprender?

  • Rodrigo Fernando Dias

    Rodrigo é estatístico e especialista em Big Data com forte interesse em geoprocessamento, desenvolvimento web, web scraping, machine learning e Data Science. É instrutor e tech lead da escola de dados da Alura.

  • Rodrigo Fernando Dias

    Rodrigo é estatístico e especialista em Big Data com forte interesse em geoprocessamento, desenvolvimento web, web scraping, machine learning e Data Science. É instrutor e tech lead da escola de dados da Alura.

  • Ana Hashimoto

    Ana é Administradora, Especialista em Ciência de Dados e Big Data e possui certificações AWS e Scrum. Atualmente é Coordenadora de Engenharia de Dados no Itaú Unibanco, Instrutora de Engenharia de Dados na Alura e Mentora de Carreira. Além disso, em seu tempo livre, gosta de viajar e assistir séries.

  • Ana Hashimoto

    Ana é Administradora, Especialista em Ciência de Dados e Big Data e possui certificações AWS e Scrum. Atualmente é Coordenadora de Engenharia de Dados no Itaú Unibanco, Instrutora de Engenharia de Dados na Alura e Mentora de Carreira. Além disso, em seu tempo livre, gosta de viajar e assistir séries.

Essa formação está em pré-lançamento. O que isso quer dizer? Uma formação em pré-lançamento indica que o time está trabalhando nela nesse exato momento.

Ao mesmo tempo você já pode fazer os primeiros cursos e conteúdo. Ela será criada a partir do seu feedback no fim dos cursos e no nosso Discord.

Passo a passo
  1. 1 Ingestão de dados

    Neste passo inicial, preparamos um conteúdo para ajudar você a conhecer melhor a AWS, como navegar no console e manipular dados utilizando Python e algumas bibliotecas.

    Na primeira etapa dessa jornada, você vai aprender a criar sua conta AWS, criar alerta de gastos, fazer ingestão de dados externos no bucket S3 com código Python e em formato Parquet, além de configurar seu Data Lake na AWS.

  2. 2 Processamento de dados

    Nesta fase da formação, vamos mergulhar em outras ferramentas da AWS, conhecendo o AWS Glue e seus recursos, como Glue Crawler, Glue Catalog, Glue Studio, Glue Data Quality e Glue Brew. Com todos estes recursos, faremos o processamento ETL dos dados ingeridos no passo anterior e criaremos a camada silver no bucket S3.

    Aprenderemos sobre o Catálogo de Dados na AWS, qualidade das informações obtidas e como otimizar o processamento destas informações.

    • Artigo Arquitetura Serverless: explorando seu funcionamento, aplicações e vantagens | Alura

    • Curso AWS Data Lake: processando dados com AWS Glue

      10h
      • Entenda como construir um pipeline de Engenharia de Dados
      • Construa uma pipeline para processamento de dados na AWS
      • Aprenda a construir um ETL e criar camada silver de dados
      • Crie e conheça seus recursos os recursos do Glue: Glue Crawler, Glue Catalog, Glue Studio, Glue Data Quality e Glue Brew
      • Aprenda como monitorar os logs de execução
      • Entenda como melhorar a performance do seu Glue Job
    • Curso AWS Data Lake: processando dados com AWS EMR

      08h
      • Construa uma pipeline para processamento de dados na AWS
      • Aprenda a construir um ETL e criar camada gold de dados
      • Conheça o AWS EMR e sua forma de cobrança
      • Saiba como provisionar a infraestrutura do AWS EMR configurando um cluster
      • Aprenda a construir um código Spark utilizando diferentes bibliotecas
      • Entenda como utilizar o AWS EMR de forma remota no Windows via Putty
  3. 3 Obtenção de insights e construção de dashboard

    Com foco na obtenção de insights, esta etapa mostrará como analisar os dados e construir dashboards com o AWS Quicksight. Você vai aprender as funcionalidades deste poderoso serviço da AWS, boas práticas de visualização de dados e construção de dashboards.

    • Curso AWS Data Lake: análise de dados com Athena e Quicksight

      08h
      • Construa um dashboard completo no AWS Quicksight
      • Aprenda as boas práticas de Visualização de Dados
      • Permita que seu usuário tenha análises personalizadas através de filtros e parâmetros
      • Enriqueça suas análises com recursos de Inteligência Artificial
      • Aprenda sobre a ferramenta com a Comunidade Quicksight

Escola

Data Science

Além dessa, a categoria Data Science conta com cursos de Ciência de dados, BI, SQL e Banco de Dados, Excel, Machine Learning, NoSQL, Estatística,e mais...

Conheça a Escola

Comece hoje mesmo os cursos de AWS Data Lake: construindo pipelines na AWS. Matricule-se agora!

Plus

De
R$ 1.800
por
12X
R$109
à vista R$1.308
  • Acesso a TODOS os cursos por 1 ano

    Formações com mais de 1500 cursos atualizados e novos lançamentos semanais, em Programação, Inteligência Artificial, Front-end, UX & Design, Data Science, Mobile, DevOps e Inovação & Gestão.

  • Certificado

    A cada curso ou formação concluído, um novo certificado para turbinar seu currículo e LinkedIn.

  • Mentorias com especialistas

    No Discord, você tem acesso a eventos exclusivos, grupos de estudos e mentorias com especialistas de diferentes áreas.

  • Comunidade exclusiva

    Faça parte da maior comunidade Dev do país e crie conexões com mais de 120 mil pessoas no Discord.

  • Acesso ao conteúdo das Imersões

    Acesso ilimitado ao catálogo de Imersões da Alura para praticar conhecimentos em diferentes áreas.

  • App Android e iOS para estudar onde quiser

    Explore um universo de possibilidades na palma da sua mão. Baixe as aulas para assistir offline, onde e quando quiser.

Matricule-se

Pro

De
R$ 2.400
por
12X
R$149
à vista R$1.788
  • Acesso a TODOS os cursos por 1 ano

    Formações com mais de 1500 cursos atualizados e novos lançamentos semanais, em Programação, Inteligência Artificial, Front-end, UX & Design, Data Science, Mobile, DevOps e Inovação & Gestão.

  • Certificado

    A cada curso ou formação concluído, um novo certificado para turbinar seu currículo e LinkedIn.

  • Mentorias com especialistas

    No Discord, você tem acesso a eventos exclusivos, grupos de estudos e mentorias com especialistas de diferentes áreas.

  • Comunidade exclusiva

    Faça parte da maior comunidade Dev do país e crie conexões com mais de 120 mil pessoas no Discord.

  • Acesso ao conteúdo das Imersões

    Acesso ilimitado ao catálogo de Imersões da Alura para praticar conhecimentos em diferentes áreas.

  • App Android e iOS para estudar onde quiser

    Explore um universo de possibilidades na palma da sua mão. Baixe as aulas para assistir offline, onde e quando quiser.

  • Luri, a inteligência artificial da Alura

    Luri é nossa inteligência artificial que tira dúvidas, dá exemplos práticos, corrige exercícios e ajuda a mergulhar ainda mais durante as aulas. Você pode conversar com a Luri até 100 mensagens por semana.

  • Alura Língua - Inglês e Espanhol

    Aprenda um novo idioma e expanda seus horizontes profissionais. Cursos de Inglês, Espanhol e Inglês para Devs, 100% focado em tecnologia.

Matricule-se

Ultra

12X
R$209
à vista R$2.508
  • Acesso a TODOS os cursos por 1 ano

    Formações com mais de 1500 cursos atualizados e novos lançamentos semanais, em Programação, Inteligência Artificial, Front-end, UX & Design, Data Science, Mobile, DevOps e Inovação & Gestão.

  • Certificado

    A cada curso ou formação concluído, um novo certificado para turbinar seu currículo e LinkedIn.

  • Mentorias com especialistas

    No Discord, você tem acesso a eventos exclusivos, grupos de estudos e mentorias com especialistas de diferentes áreas.

  • Comunidade exclusiva

    Faça parte da maior comunidade Dev do país e crie conexões com mais de 120 mil pessoas no Discord.

  • Acesso ao conteúdo das Imersões

    Acesso ilimitado ao catálogo de Imersões da Alura para praticar conhecimentos em diferentes áreas.

  • App Android e iOS para estudar onde quiser

    Explore um universo de possibilidades na palma da sua mão. Baixe as aulas para assistir offline, onde e quando quiser.

  • Luri, com mensagens ILIMITADAS

    Mensagens ilimitadas para estudar com a Luri, a IA da Alura, disponível 24hs para tirar suas dúvidas, dar exemplos práticos, corrigir exercícios e impulsionar seus estudos.

  • Luri Vision, a IA que enxerga suas dúvidas

    Envie imagens para a Luri e ela te ajuda a solucionar problemas, identificar erros, esclarecer gráficos, analisar design e muito mais.

  • Alura Língua - Inglês e Espanhol

    Aprenda um novo idioma e expanda seus horizontes profissionais. Cursos de Inglês, Espanhol e Inglês para Devs, 100% focado em tecnologia.

  • 6 Ebooks da Casa do Código

    Escolha os ebooks da Casa do Código, a editora da Alura, que apoiarão a sua jornada de aprendizado para sempre.

Matricule-se
Conheça os Planos para Empresas

Acesso completo
durante 1 ano

Estude 24h/dia
onde e quando quiser

Novos cursos
todas as semanas