9h

Para conclusão

1
Curso
1
Artigo

Essa formação está em pré-lançamento! O que isso quer dizer? Uma formação em pré-lançamento indica que o time está trabalhando nela nesse exato momento.

Você já pode fazer os primeiros cursos dessa formação. Ela continuará a ser criada a partir do seu feedback no fim dos cursos e no nosso Discord.

Conheça a Formação AWS Data Lake

A formação AWS Data Lake da Alura tem como objetivo preparar a pessoa aluna para trabalhar com Engenharia de Dados utilizando serviços da AWS, Apache Spark e Python.

Funciona como um guia de aprendizado para auxiliar pessoas interessadas em entrar no mercado de trabalho e também como mecanismo de consulta para profissionais experientes.

O que é AWS?

A AWS (Amazon Web Services) é uma plataforma de serviços em nuvem oferecida pela Amazon. No contexto de Engenharia de Dados, a AWS desempenha um papel significativo ao fornecer uma variedade de serviços e ferramentas que facilitam a coleta, processamento, armazenamento e análise de grandes volumes de dados.

O que vamos aprender?

Nesta formação, vamos aprender a construir um Data Lake na AWS com uma pipeline completa desde a ingestão de dados externos, processamento e ETL, até análise de dados, construção de dashboard e construção de IaaC (Infraestrutura como Código).

Você vai manipular dados utilizando Apache Spark, Python e diferentes bibliotecas como urllib, boto3, BytesIO, entre outras. Além disso, vai aprender sobre boas práticas na manipulação de grande volume de dados, como salvar os arquivos em Parquet, aumentar o número de workers no AWS Glue e fazer processamento distribuído com AWS EMR.

Você também irá aprender sobre a criação de dashboards no Quicksight, boas práticas de DataViz, GenAI na visualização de dados, etc. Outro tópico bastante importante no dia a dia de um Engenheiro de Dados é a Infraestrutura como código, que possibilita que infraestruturas sejam rapidamente criadas e configuradas, além de permitir que códigos sejam reutilizados.

Quais são os pré-requisitos para fazer essa formação?

Para melhor aproveitamento do conteúdo, recomendamos que você já saiba programar em Python, tenha algum conhecimento em Spark e Cloud Computing.

Por que estudar esta formação?

  • Guia de aprendizado

    Conteúdos pensados para facilitar seu estudo

  • Do básico ao avançado

    Formação completa para o mercado

  • Você dentro do mercado

    Do zero ao sonhado emprego em sua área de interesse

Comece essa formação agora mesmo e capacite-se para seu próximo projeto!

Conheça os planos

Com quem você vai aprender?

  • Ana Hashimoto

    Ana é Administradora, Especialista em Ciência de Dados e Big Data e possui certificações AWS e Scrum. Atualmente é Senior Analytics Engineer no Itaú Unibanco, Instrutora de Engenharia de Dados na Alura e Mentora de Carreira. Além disso, em seu tempo livre, gosta de viajar e assistir séries.

  • Ana Hashimoto

    Ana é Administradora, Especialista em Ciência de Dados e Big Data e possui certificações AWS e Scrum. Atualmente é Senior Analytics Engineer no Itaú Unibanco, Instrutora de Engenharia de Dados na Alura e Mentora de Carreira. Além disso, em seu tempo livre, gosta de viajar e assistir séries.

Essa formação está em pré-lançamento. O que isso quer dizer? Uma formação em pré-lançamento indica que o time está trabalhando nela nesse exato momento.

Ao mesmo tempo você já pode fazer os primeiros cursos e conteúdo. Ela será criada a partir do seu feedback no fim dos cursos e no nosso Discord.

Passo a passo
  1. 1 Ingestão de Dados

    Neste passo inicial, preparamos um conteúdo para ajudar você a conhecer melhor a AWS, como navegar no console e manipular dados utilizando Python e algumas bibliotecas.

    Na primeira etapa dessa jornada, você vai aprender a criar sua conta AWS, criar alerta de gastos, fazer ingestão de dados externos no bucket S3 com código Python e em formato Parquet, além de configurar seu Data Lake na AWS.

    • Curso AWS Data Lake: criando uma pipeline para ingestão de dados

      08h
      • Entenda como construir um pipeline de Engenharia de Dados
      • Construa uma pipeline para ingestão de dados na AWS
      • Crie e estruture um Data Lake utilizando Lake Formation
      • Construa a camada bronze no bucket S3
      • Aprenda sobre as camadas adicionais de segurança na AWS
      • Crie alertas e controle seus gastos na AWS
    • Artigo Arquivos Parquet

Escola

Data Science

Além dessa, a categoria Data Science conta com cursos de Ciência de dados, BI, SQL e Banco de Dados, Excel, Machine Learning, NoSQL, Estatística,e mais...

Conheça a Escola

Comece hoje mesmo os cursos de AWS Data Lake: construindo pipelines na AWS. Matricule-se agora!

Plus

De
R$ 1.800
12X
R$109
à vista R$1.308
  • Acesso a TODOS os cursos da Alura

    Mais de 1500 cursos completamente atualizados, com novos lançamentos todas as semanas, emProgramação, Front-end, UX & Design, Data Science, Mobile, DevOps e Inovação & Gestão.

  • Alura Challenges

    Desafios temáticos para você turbinar seu portfólio. Você aprende na prática, com exercícios e projetos que simulam o dia a dia profissional.

  • Alura Cases

    Webséries exclusivas com discussões avançadas sobre arquitetura de sistemas com profissionais de grandes corporações e startups.

  • Certificado

    Emitimos certificados para atestar que você finalizou nossos cursos e formações.

Matricule-se

Pro

De
R$ 2.400
12X
R$149
à vista R$1.788
  • Acesso a TODOS os cursos da Alura

    Mais de 1500 cursos completamente atualizados, com novos lançamentos todas as semanas, emProgramação, Front-end, UX & Design, Data Science, Mobile, DevOps e Inovação & Gestão.

  • Alura Challenges

    Desafios temáticos para você turbinar seu portfólio. Você aprende na prática, com exercícios e projetos que simulam o dia a dia profissional.

  • Alura Cases

    Webséries exclusivas com discussões avançadas sobre arquitetura de sistemas com profissionais de grandes corporações e startups.

  • Certificado

    Emitimos certificados para atestar que você finalizou nossos cursos e formações.

  • Luri, a inteligência artificial da Alura

    Luri é nossa inteligência artificial que tira dúvidas, dá exemplos práticos e ajuda a mergulhar ainda mais durante as aulas. Você pode conversar com Luri até 100 mensagens por semana.

  • Alura Língua (incluindo curso Inglês para Devs)

    Estude a língua inglesa com um curso 100% focado em tecnologia e expanda seus horizontes profissionais.

Matricule-se
Conheça os Planos para Empresas

Acesso completo
durante 1 ano

Estude 24h/dia
onde e quando quiser

Novos cursos
todas as semanas