O que você aprenderá_
- Entenda como construir um pipeline de Engenharia de Dados
- Construa uma pipeline para processamento de dados na AWS
- Aprenda a construir um ETL e criar camada silver de dados
- Crie e conheça seus recursos os recursos do Glue: Glue Crawler, Glue Catalog, Glue Studio, Glue Data Quality e Glue Brew
- Aprenda como monitorar os logs de execução
- Entenda como melhorar a performance do seu Glue Job
Público alvo_
Pessoas Engenheiras de Dados; profissionais que desejam aprendar mais sobre AWS; pessoas que desejam construir uma pipeline de ETL e Engenharia de Dados para acrescentar ao portfólio.
Ana Hashimoto
Ana é Administradora, Especialista em Ciência de Dados e Big Data e possui certificações AWS e Scrum. Atualmente é Senior Analytics Engineer no Itaú Unibanco, Instrutora de Engenharia de Dados na Alura e Mentora de Carreira. Além disso, em seu tempo livre, gosta de viajar e assistir séries.
Curso atualizado em 18/04/2024
Já estuda na Alura?
Comece o curso agoraEmenta
Conhecendo o AWS Glue Crawler
- Entendendo a pipeline
- Upload dos dados no S3
- Configurando o AWS Glue Crawler e verificando seu resultado no AWS Data Catalog
- Executando o Crawler
Catálogo de dados e permissionamento no Lake Formation
- Lake Formation: configuração dos filtros de acesso por perfil
- Ajustando as permissões de catálogo de dados
- Testando o controle de acesso por linha utilizando AWS Athena
Configurando e criando o Glue Studio
- Nova tabela para armazenar os dados processados
- Criação do Glue Job com Visual ETL
- Gravação na tabela Silver
Analisando os logs e Glue Data Quality
- Mostrando os logs e a Camada Silver no bucket S3 e no Athena
- Criando o Glue Data Quality via Data Catalog Tables
AWS Glue Data Brew e excluindo os recursos
- Criando o AWS Glue DataBrew
- Excluindo os recursos
Descubra se esse curso é pra você! Leia as primeiras aulas
-
Formação
AWS Data Lake: construindo pipelines na AWS
10h
De curso
39
Atividades
Escola
Data Science
Cursos relacionados em Engenharia de Dados
Pessoas estudando esse curso nesse mês:
Estude com elas
ROBSON CARRINHO ALVES MARINHO
Aristóteles Coutinho Costa
Italo Fernandes
Junior Rafael Roos Borba
Marcos Leandro de Mattos Filgueiras
e mais 144 pessoas
e mais 144 pessoas
Faça parte da nossa comunidade no discord!
Troque conhecimentos com a comunidade da Alura
Aprenda Engenharia de Dados com esse e outros cursos, comece agora!
Plus
De
R$ 1.800
12X
R$109
à vista
R$1.308
- Acesso a TODOS os cursos da Alura
Mais de 1500 cursos completamente atualizados, com novos lançamentos todas as semanas, emProgramação, Front-end, UX & Design, Data Science, Mobile, DevOps e Inovação & Gestão.
- Alura Challenges
Desafios temáticos para você turbinar seu portfólio. Você aprende na prática, com exercícios e projetos que simulam o dia a dia profissional.
- Alura Cases
Webséries exclusivas com discussões avançadas sobre arquitetura de sistemas com profissionais de grandes corporações e startups.
- Certificado
Emitimos certificados para atestar que você finalizou nossos cursos e formações.
Pro
De
R$ 2.400
12X
R$149
à vista
R$1.788
- Acesso a TODOS os cursos da Alura
Mais de 1500 cursos completamente atualizados, com novos lançamentos todas as semanas, emProgramação, Front-end, UX & Design, Data Science, Mobile, DevOps e Inovação & Gestão.
- Alura Challenges
Desafios temáticos para você turbinar seu portfólio. Você aprende na prática, com exercícios e projetos que simulam o dia a dia profissional.
- Alura Cases
Webséries exclusivas com discussões avançadas sobre arquitetura de sistemas com profissionais de grandes corporações e startups.
- Certificado
Emitimos certificados para atestar que você finalizou nossos cursos e formações.
- Luri, a inteligência artificial da Alura
Luri é nossa inteligência artificial que tira dúvidas, dá exemplos práticos e ajuda a mergulhar ainda mais durante as aulas. Você pode conversar com Luri até 100 mensagens por semana.
- Alura Língua (incluindo curso Inglês para Devs)
Estude a língua inglesa com um curso 100% focado em tecnologia e expanda seus horizontes profissionais.
Acesso completo
durante 1 ano
Estude 24h/dia
onde e quando quiser
Novos cursos
todas as semanas