Curso Online Apache Beam: Data Pipeline com Python

Estudando este mês:

e mais 123 alunos(as)

Resumo do curso

Realize a ingestão de dados brutos
Entenda como aplicar processos de engenharia de dados
Produza uma análise estruturada com base nos dados lidos
Entenda para que realizar a paralelização de processos de transformações em dados brutos
Aplique as regras de negócio estabelecidas em transformações nos dados ingeridos
Una bases diferentes para que tenham correlações que possam ser extraídas
Persista os resultados das transformações para processos que utilizarão os dados tratados

Público alvo

Pessoas que trabalham com ciência, engenharia ou análise de dados que querem melhorar a forma de realizar a preparação de dados para outros processos ou aprender um novo ferramental para trabalhar com engenharia de dados.

Conteúdo relacionado

Cursos de Engenharia de Dados em Data Science

Leia nossos artigos de Data Science

Já é aluno?

Comece o curso agora

12h

p/ conclusão

Atividades

221

Minutos de video

1266

Alunos nesse curso

9.3

Nota deste curso

Certificado de participação

Um pouco mais do conteúdo

Descubra se esse curso é pra você lendo as primeiras aulas de Apache Beam: Data Pipeline com Python

Formação com esse curso

Iniciando com Engenharia de Dados

Instrutores

Pedro Felipe Teixeira
Pedro é formado em Mecatrônica Industrial, com mestrado em Energias Renováveis. Atuou na indústria e na construção civil com aplicações em Internet das Coisas e análise de dados, como desenvolvedor de software e atualmente trabalha como arquiteto de soluções, trabalhando com processos de Engenharia de Dados e Engenharia de Machine Learning no mercado de risco de crédito. Professor desde cedo, entende que quem mais aprende é quem mais compartilha.

Conteúdo Detalhado

Data Pipeline
- Apresentação
- Data Pipeline
- Dados brutos
Pipeline e transformações
- Apache Beam
- Pipeline casos de dengue
- De texto para lista
Dados de dengue
- De lista para dicionário
- Tratando datas
- Chave por estado
Dados de chuvas
- mm por estado, ano e mês
- Somar dados
- Pipeline de chuvas
Agrupando e retornando tupla
- Chave por estado ano mês
- Agrupar e somar chuva
- Retornar tupla
Analisando e juntando pcollections
- Análise de Pipelines
- Mescla com CoGroupByKey
- Filtro
Persistência dos resultados
- Desagrupamento
- Preparo para escrita
- Escrita
- Análise
- Conclusão

Ainda não estuda com a gente?

Invista na transformação da sua carreira!

Comece agora

Cursos relacionados em Engenharia de Dados

nossos alunos e alunas

Experiências de quem já mergulhou com a gente.

Curso incrível, com ótimos exemplos e uma excelente didática.

Apache Beam: Data Pipeline com Python

Fernando

O curso é bastante interessante, o conjunto de dados abordado foi muito adequado ao conteúdo. Além disso, o professor apresentou uma didática impecável.

Apache Beam: Data Pipeline com Python

Madson Luiz Dantas Dias

Este conteúdo venho procurando faz um bom tempo, volta e meia pesquisa na plataforma, fiquei extremamente satisfeito, pois me abriu de fato os olhos para o poder do Beam e sua flexibilidade. Eu tenho muito a agradecer ao Instrutor pela metodologia de ensinar através de uma caso de uso efetivo que pode ser replicado no dia-a-dia e obviamente agradecer a a Alura por fomentar este conteúdo.Aí só fica a pergunta: Quando teremos mais conteúdos de Engenharia de Dados com o Apache Beam e ouros temas?

Apache Beam: Data Pipeline com Python

Luciano Teixeira

Aprenda Engenharia de Dados com esse e outros cursos, comece agora!

Acesso a TODOS os cursos da plataforma
Mais de 1200 cursos completamente atualizados, com novos lançamentos todas as semanas, em Programação, Front-end, UX & Design, Data Science, Mobile, DevOps e Inovação & Gestão.
Alura Challenges
Desafios temáticos para você turbinar seu portfólio. Você aprende na prática, com exercícios e projetos que simulam o dia a dia profissional.
Alura Cases
Webséries exclusivas com discussões avançadas sobre arquitetura de sistemas com profissionais de grandes corporações e startups.
Certificado
Emitimos certificados para atestar que você finalizou nossos cursos e formações.
Alura Língua (incluindo curso Inglês para Devs)
Estude a língua inglesa com um curso 100% focado em tecnologia e expanda seus horizontes profissionais.

12X

R$85

à vista R$1.020

Matricule-se

Acesso a TODOS os cursos da plataforma
Mais de 1200 cursos completamente atualizados, com novos lançamentos todas as semanas, em Programação, Front-end, UX & Design, Data Science, Mobile, DevOps e Inovação & Gestão.
Alura Challenges
Desafios temáticos para você turbinar seu portfólio. Você aprende na prática, com exercícios e projetos que simulam o dia a dia profissional.
Alura Cases
Webséries exclusivas com discussões avançadas sobre arquitetura de sistemas com profissionais de grandes corporações e startups.
Certificado
Emitimos certificados para atestar que você finalizou nossos cursos e formações.
Alura Língua (incluindo curso Inglês para Devs)
Estude a língua inglesa com um curso 100% focado em tecnologia e expanda seus horizontes profissionais.

12X

R$120

à vista R$1.440

Matricule-se

Conheça os Planos para Empresas

Acesso completo
durante 1 ano

Estude 24h/dia
onde e quando quiser

Novos cursos
todas as semanas

Apache Beam: Data Pipeline com Python

Estudando este mês:

Resumo do curso

Público alvo

Conteúdo relacionado

Já é aluno?

Um pouco mais do conteúdo

Formação com esse curso

Instrutores

Pedro Felipe Teixeira

Conteúdo Detalhado

Data Pipeline

Pipeline e transformações

Dados de dengue

Dados de chuvas

Agrupando e retornando tupla

Analisando e juntando pcollections

Persistência dos resultados

Cursos relacionados em Engenharia de Dados

nossos alunos e alunas

Experiências de quem já mergulhou com a gente.

Fernando

Madson Luiz Dantas Dias

Luciano Teixeira

Aprenda Engenharia de Dados com esse e outros cursos, comece agora!

Plus

Pro

Cursos