O que você aprenderá_
- Construa uma pipeline para processamento de dados na AWS
- Aprenda a construir um ETL e criar camada gold de dados
- Conheça o AWS EMR e sua forma de cobrança
- Saiba como provisionar a infraestrutura do AWS EMR configurando um cluster
- Aprenda a construir um código Spark utilizando diferentes bibliotecas
- Entenda como utilizar o AWS EMR de forma remota no Windows via Putty
Público alvo_
Pessoas Engenheiras de Dados; profissionais que desejam aprendar mais sobre AWS; pessoas que desejam construir uma pipeline de ETL e Engenharia de Dados para acrescentar ao portfólio.
Ana Hashimoto
Ana é Administradora, Especialista em Ciência de Dados e Big Data e possui certificações AWS e Scrum. Atualmente é Coordenadora de Engenharia de Dados no Itaú Unibanco, Instrutora de Engenharia de Dados na Alura e Mentora de Carreira. Além disso, em seu tempo livre, gosta de viajar e assistir séries.
Rodrigo Fernando Dias
Rodrigo é estatístico e especialista em Big Data com forte interesse em geoprocessamento, desenvolvimento web, web scraping, machine learning e Data Science. É instrutor e tech lead da escola de dados da Alura.
Curso atualizado em 23/05/2024
Já estuda na Alura?
Comece o curso agoraEmenta
Preparando o ambiente
- Entendendo a pipeline
- Criação de tabela para armazenar a camada gold
Criando e configurando o cluster AWS EMR
- Conhecendo o AWS EMR e seu Pricing
- Criação de cluster EMR - Hardware e Software
- Criação de cluster EMR - Networking e Security
Construindo script Spark
- Construindo script PySpark - Transformação dos dados
- Construindo script PySpark - Selecionando colunas desejadas e gravando no Data Lake
- Adicionando step de execução no console do AWS EMR
Visualizando o resultado e permissionamento
- Executando o Job e visualizando o resultado
- Configurando permissões para execução local (VPC e IAM)
Executando o Job e conferindo
- Executando Job Spark via CLI e visualizando resultados
- Excluindo os recursos
Descubra se esse curso é pra você! Leia as primeiras aulas
-
Formação
AWS Data Lake: construindo pipelines na AWS
8h
De curso
37
Atividades
Escola
Data Science
Pessoas estudando esse curso nesse mês:
Estude com elas
Paulo Roberto Mendes da Silva
Kalil Kabiam Vasconcelos Junior
Jaffer dos Santos Veronezi
Victor Paulo
Leonardo Marinho da Silva
e mais 179 pessoas
e mais 179 pessoas
Faça parte da nossa comunidade no discord!
Troque conhecimentos com a comunidade da Alura
Aprenda SQL e Banco de Dados com esse e outros cursos, comece agora!
Plus
De
R$ 1.800por
12X
R$109
à vista
R$1.308
- Acesso a TODOS cursos por 1 ano
Formações com mais de 1500 cursos atualizados e novos lançamentos semanais, em Programação, Inteligência Artificial, Front-end, UX & Design, Data Science, Mobile, DevOps e Inovação & Gestão.
- Certificado
A cada curso ou formação concluído, um novo certificado para turbinar seu currículo e LinkedIn.
- Mentorias com especialistas
No Discord, você tem acesso a eventos exclusivos, grupos de estudos e mentorias com especialistas de diferentes áreas.
- Comunidade exclusiva
Faça parte da maior comunidade Dev do país e crie conexões com mais de 120 mil pessoas no Discord.
- Acesso ao conteúdo das Imersões
Acesso ilimitado ao catálogo de Imersões da Alura para praticar conhecimentos em diferentes áreas.
- App Android e iOS para estudar onde quiser
Explore um universo de possibilidades na palma da sua mão. Baixe as aulas para assistir offline, onde e quando quiser.
Pro
De
R$ 2.400por
12X
R$149
à vista
R$1.788
- Acesso a TODOS cursos por 1 ano
Formações com mais de 1500 cursos atualizados e novos lançamentos semanais, em Programação, Inteligência Artificial, Front-end, UX & Design, Data Science, Mobile, DevOps e Inovação & Gestão.
- Certificado
A cada curso ou formação concluído, um novo certificado para turbinar seu currículo e LinkedIn.
- Mentorias com especialistas
No Discord, você tem acesso a eventos exclusivos, grupos de estudos e mentorias com especialistas de diferentes áreas.
- Comunidade exclusiva
Faça parte da maior comunidade Dev do país e crie conexões com mais de 120 mil pessoas no Discord.
- Acesso ao conteúdo das Imersões
Acesso ilimitado ao catálogo de Imersões da Alura para praticar conhecimentos em diferentes áreas.
- App Android e iOS para estudar onde quiser
Explore um universo de possibilidades na palma da sua mão. Baixe as aulas para assistir offline, onde e quando quiser.
- Luri, a inteligência artificial da Alura
Luri é nossa inteligência artificial que tira dúvidas, dá exemplos práticos, corrige exercícios e ajuda a mergulhar ainda mais durante as aulas. Você pode conversar com a Luri até 100 mensagens por semana.
- Alura Língua - Inglês e Espanhol
Aprenda um novo idioma e expanda seus horizontes profissionais. Cursos de Inglês, Espanhol e Inglês para Devs, 100% focado em tecnologia.
Ultra
12X
R$209
à vista
R$2.508
- Acesso a TODOS cursos por 1 ano
Formações com mais de 1500 cursos atualizados e novos lançamentos semanais, em Programação, Inteligência Artificial, Front-end, UX & Design, Data Science, Mobile, DevOps e Inovação & Gestão.
- Certificado
A cada curso ou formação concluído, um novo certificado para turbinar seu currículo e LinkedIn.
- Mentorias com especialistas
No Discord, você tem acesso a eventos exclusivos, grupos de estudos e mentorias com especialistas de diferentes áreas.
- Comunidade exclusiva
Faça parte da maior comunidade Dev do país e crie conexões com mais de 120 mil pessoas no Discord.
- Acesso ao conteúdo das Imersões
Acesso ilimitado ao catálogo de Imersões da Alura para praticar conhecimentos em diferentes áreas.
- App Android e iOS para estudar onde quiser
Explore um universo de possibilidades na palma da sua mão. Baixe as aulas para assistir offline, onde e quando quiser.
- Luri, com mensagens ILIMITADAS
Mensagens ilimitadas para estudar com a Luri, a IA da Alura, disponível 24hs para tirar suas dúvidas, dar exemplos práticos, corrigir exercícios e impulsionar seus estudos.
- Luri Vision, a IA que enxerga suas dúvidas
Envie imagens para a Luri e ela te ajuda a solucionar problemas, identificar erros, esclarecer gráficos, analisar design e muito mais.
- Alura Língua - Inglês e Espanhol
Aprenda um novo idioma e expanda seus horizontes profissionais. Cursos de Inglês, Espanhol e Inglês para Devs, 100% focado em tecnologia.
- 6 Ebooks da Casa do Código
Receba cupons da Casa do Código, a editora da Alura, e escolha ebooks que acompanharão a sua jornada de aprendizado para sempre.
Acesso completo
durante 1 ano
Estude 24h/dia
onde e quando quiser
Novos cursos
todas as semanas