O que você aprenderá_
- Realize a ingestão de dados brutos
- Entenda como aplicar processos de engenharia de dados
- Produza uma análise estruturada com base nos dados lidos
- Entenda para que realizar a paralelização de processos de transformações em dados brutos
- Aplique as regras de negócio estabelecidas em transformações nos dados ingeridos
- Una bases diferentes para que tenham correlações que possam ser extraídas
- Persista os resultados das transformações para processos que utilizarão os dados tratados
Público alvo_
Pessoas que trabalham com ciência, engenharia ou análise de dados que querem melhorar a forma de realizar a preparação de dados para outros processos ou aprender um novo ferramental para trabalhar com engenharia de dados.
Pedro Felipe Teixeira
Pedro é formado em Mecatrônica Industrial, com mestrado em Energias Renováveis. Atuou na indústria e na construção civil com aplicações em Internet das Coisas e análise de dados, como desenvolvedor de software e atualmente trabalha como arquiteto de soluções, trabalhando com processos de Engenharia de Dados e Engenharia de Machine Learning no mercado de risco de crédito. Professor desde cedo, entende que quem mais aprende é quem mais compartilha.
Já estuda na Alura?
Comece o curso agoraEmenta
Data Pipeline
- Apresentação
- Data Pipeline
- Dados brutos
Pipeline e transformações
- Apache Beam
- Pipeline casos de dengue
- De texto para lista
Dados de dengue
- De lista para dicionário
- Tratando datas
- Chave por estado
Dados de chuvas
- mm por estado, ano e mês
- Somar dados
- Pipeline de chuvas
Agrupando e retornando tupla
- Chave por estado ano mês
- Agrupar e somar chuva
- Retornar tupla
Analisando e juntando pcollections
- Análise de Pipelines
- Mescla com CoGroupByKey
- Filtro
Persistência dos resultados
- Desagrupamento
- Preparo para escrita
- Escrita
- Análise
- Conclusão
Descubra se esse curso é pra você! Leia as primeiras aulas
Escola
Data Science
Pessoas estudando esse curso nesse mês:
Estude com elas
Pedro Moreno Campos
Arthur Fernando Rego
Lucas Martins Paixão Dias
Jully Anna de Melo Xavier
Igor Svidzinski Zambiassi
e mais 46 pessoas
e mais 46 pessoas
Faça parte da nossa comunidade no discord!
Troque conhecimentos com a comunidade da Alura
nossos alunos e alunas
Experiências de quem já mergulhou com a gente.
Curso incrível, com ótimos exemplos e uma excelente didática.
Apache Beam: Data Pipeline com Python
Fernando
Experiência boa. O curso muito bom e um fato que achei interessante é que a ferramenta permite a construção de arquivos Parquet e Avro pouco falado aqui nos cursos da Alura. Gostaria de ver cursos mais voltados para o ambiente Hadoop.
Apache Beam: Data Pipeline com Python
Luiz Peralta
Este conteúdo venho procurando faz um bom tempo, volta e meia pesquisa na plataforma, fiquei extremamente satisfeito, pois me abriu de fato os olhos para o poder do Beam e sua flexibilidade. Eu tenho muito a agradecer ao Instrutor pela metodologia de ensinar através de uma caso de uso efetivo que pode ser replicado no dia-a-dia e obviamente agradecer a a Alura por fomentar este conteúdo.Aí só fica a pergunta: Quando teremos mais conteúdos de Engenharia de Dados com o Apache Beam e ouros temas?
Apache Beam: Data Pipeline com Python
Luciano Teixeira
Aprenda Engenharia de Dados com esse e outros cursos, comece agora!
Plus
De
R$ 1.800por
12X
R$109
à vista
R$1.308
- Acesso a TODOS os cursos por 1 ano
Formações com mais de 1500 cursos atualizados e novos lançamentos semanais, em Programação, Inteligência Artificial, Front-end, UX & Design, Data Science, Mobile, DevOps e Inovação & Gestão.
- Certificado
A cada curso ou formação concluído, um novo certificado para turbinar seu currículo e LinkedIn.
- Mentorias com especialistas
No Discord, você tem acesso a eventos exclusivos, grupos de estudos e mentorias com especialistas de diferentes áreas.
- Comunidade exclusiva
Faça parte da maior comunidade Dev do país e crie conexões com mais de 120 mil pessoas no Discord.
- Acesso ao conteúdo das Imersões
Acesso ilimitado ao catálogo de Imersões da Alura para praticar conhecimentos em diferentes áreas.
- App Android e iOS para estudar onde quiser
Explore um universo de possibilidades na palma da sua mão. Baixe as aulas para assistir offline, onde e quando quiser.
Pro
De
R$ 2.400por
12X
R$149
à vista
R$1.788
- Acesso a TODOS os cursos por 1 ano
Formações com mais de 1500 cursos atualizados e novos lançamentos semanais, em Programação, Inteligência Artificial, Front-end, UX & Design, Data Science, Mobile, DevOps e Inovação & Gestão.
- Certificado
A cada curso ou formação concluído, um novo certificado para turbinar seu currículo e LinkedIn.
- Mentorias com especialistas
No Discord, você tem acesso a eventos exclusivos, grupos de estudos e mentorias com especialistas de diferentes áreas.
- Comunidade exclusiva
Faça parte da maior comunidade Dev do país e crie conexões com mais de 120 mil pessoas no Discord.
- Acesso ao conteúdo das Imersões
Acesso ilimitado ao catálogo de Imersões da Alura para praticar conhecimentos em diferentes áreas.
- App Android e iOS para estudar onde quiser
Explore um universo de possibilidades na palma da sua mão. Baixe as aulas para assistir offline, onde e quando quiser.
- Luri, a inteligência artificial da Alura
Luri é nossa inteligência artificial que tira dúvidas, dá exemplos práticos, corrige exercícios e ajuda a mergulhar ainda mais durante as aulas. Você pode conversar com a Luri até 100 mensagens por semana.
- Alura Língua - Inglês e Espanhol
Aprenda um novo idioma e expanda seus horizontes profissionais. Cursos de Inglês, Espanhol e Inglês para Devs, 100% focado em tecnologia.
Ultra
12X
R$209
à vista
R$2.508
- Acesso a TODOS os cursos por 1 ano
Formações com mais de 1500 cursos atualizados e novos lançamentos semanais, em Programação, Inteligência Artificial, Front-end, UX & Design, Data Science, Mobile, DevOps e Inovação & Gestão.
- Certificado
A cada curso ou formação concluído, um novo certificado para turbinar seu currículo e LinkedIn.
- Mentorias com especialistas
No Discord, você tem acesso a eventos exclusivos, grupos de estudos e mentorias com especialistas de diferentes áreas.
- Comunidade exclusiva
Faça parte da maior comunidade Dev do país e crie conexões com mais de 120 mil pessoas no Discord.
- Acesso ao conteúdo das Imersões
Acesso ilimitado ao catálogo de Imersões da Alura para praticar conhecimentos em diferentes áreas.
- App Android e iOS para estudar onde quiser
Explore um universo de possibilidades na palma da sua mão. Baixe as aulas para assistir offline, onde e quando quiser.
- Luri, com mensagens ILIMITADAS
Mensagens ilimitadas para estudar com a Luri, a IA da Alura, disponível 24hs para tirar suas dúvidas, dar exemplos práticos, corrigir exercícios e impulsionar seus estudos.
- Luri Vision, a IA que enxerga suas dúvidas
Envie imagens para a Luri e ela te ajuda a solucionar problemas, identificar erros, esclarecer gráficos, analisar design e muito mais.
- Alura Língua - Inglês e Espanhol
Aprenda um novo idioma e expanda seus horizontes profissionais. Cursos de Inglês, Espanhol e Inglês para Devs, 100% focado em tecnologia.
- 6 Ebooks da Casa do Código
Escolha os ebooks da Casa do Código, a editora da Alura, que apoiarão a sua jornada de aprendizado para sempre.
Acesso completo
durante 1 ano
Estude 24h/dia
onde e quando quiser
Novos cursos
todas as semanas