Logo do curso
Curso

Apache Beam:

Data Pipeline com Python

Quero estudar na alura

12h

Para conclusão

2668

Pessoas nesse curso

9.2

Avaliação média

Certificado

De participação

Introdução_

O que você aprenderá_

  • Realize a ingestão de dados brutos
  • Entenda como aplicar processos de engenharia de dados
  • Produza uma análise estruturada com base nos dados lidos
  • Entenda para que realizar a paralelização de processos de transformações em dados brutos
  • Aplique as regras de negócio estabelecidas em transformações nos dados ingeridos
  • Una bases diferentes para que tenham correlações que possam ser extraídas
  • Persista os resultados das transformações para processos que utilizarão os dados tratados

Público alvo_

Pessoas que trabalham com ciência, engenharia ou análise de dados que querem melhorar a forma de realizar a preparação de dados para outros processos ou aprender um novo ferramental para trabalhar com engenharia de dados.

Pedro Felipe Teixeira

Pedro é formado em Mecatrônica Industrial, com mestrado em Energias Renováveis. Atuou na indústria e na construção civil com aplicações em Internet das Coisas e análise de dados, como desenvolvedor de software e atualmente trabalha como arquiteto de soluções, trabalhando com processos de Engenharia de Dados e Engenharia de Machine Learning no mercado de risco de crédito. Professor desde cedo, entende que quem mais aprende é quem mais compartilha.

Ementa

  1. Data Pipeline

    • Apresentação
    • Data Pipeline
    • Dados brutos
  2. Pipeline e transformações

    • Apache Beam
    • Pipeline casos de dengue
    • De texto para lista
  3. Dados de dengue

    • De lista para dicionário
    • Tratando datas
    • Chave por estado
  4. Dados de chuvas

    • mm por estado, ano e mês
    • Somar dados
    • Pipeline de chuvas
  5. Agrupando e retornando tupla

    • Chave por estado ano mês
    • Agrupar e somar chuva
    • Retornar tupla
  6. Analisando e juntando pcollections

    • Análise de Pipelines
    • Mescla com CoGroupByKey
    • Filtro
  7. Persistência dos resultados

    • Desagrupamento
    • Preparo para escrita
    • Escrita
    • Análise
    • Conclusão

Descubra se esse curso é pra você! Leia as primeiras aulas

Comece essa formação agora mesmo e capacite-se para seu próximo projeto!

Conheça os planos
Escola

Data Science

Trabalhe com dados. Aprofunde seu conhecimento nas principais ferramentas de uma pessoa data scientist. Descubra as diferentes possibilidades de análise de dados, do Excel ao Python, e mergulhe em frameworks e bibliotecas, como Pandas, Scikit-Learn e Seaborn.

Conheça a escola

Pessoas estudando esse curso nesse mês:

Estude com elas

e mais 55 pessoas

Faça parte da nossa comunidade no discord!

Troque conhecimentos com a comunidade da Alura

nossos alunos e alunas

Experiências de quem já mergulhou com a gente.

Curso incrível, com ótimos exemplos e uma excelente didática.

Apache Beam: Data Pipeline com Python

Fernando

Experiência boa. O curso muito bom e um fato que achei interessante é que a ferramenta permite a construção de arquivos Parquet e Avro pouco falado aqui nos cursos da Alura. Gostaria de ver cursos mais voltados para o ambiente Hadoop.

Apache Beam: Data Pipeline com Python

Luiz Peralta

Este conteúdo venho procurando faz um bom tempo, volta e meia pesquisa na plataforma, fiquei extremamente satisfeito, pois me abriu de fato os olhos para o poder do Beam e sua flexibilidade. Eu tenho muito a agradecer ao Instrutor pela metodologia de ensinar através de uma caso de uso efetivo que pode ser replicado no dia-a-dia e obviamente agradecer a a Alura por fomentar este conteúdo.Aí só fica a pergunta: Quando teremos mais conteúdos de Engenharia de Dados com o Apache Beam e ouros temas?

Apache Beam: Data Pipeline com Python

Luciano Teixeira

Aprenda Engenharia de Dados com esse e outros cursos, comece agora!

Plus

De
R$ 1.800
12X
R$109
à vista R$1.308
  • Acesso a TODOS os cursos da Alura

    Mais de 1500 cursos completamente atualizados, com novos lançamentos todas as semanas, emProgramação, Front-end, UX & Design, Data Science, Mobile, DevOps e Inovação & Gestão.

  • Alura Challenges

    Desafios temáticos para você turbinar seu portfólio. Você aprende na prática, com exercícios e projetos que simulam o dia a dia profissional.

  • Alura Cases

    Webséries exclusivas com discussões avançadas sobre arquitetura de sistemas com profissionais de grandes corporações e startups.

  • Certificado

    Emitimos certificados para atestar que você finalizou nossos cursos e formações.

Matricule-se

Pro

De
R$ 2.400
12X
R$149
à vista R$1.788
  • Acesso a TODOS os cursos da Alura

    Mais de 1500 cursos completamente atualizados, com novos lançamentos todas as semanas, emProgramação, Front-end, UX & Design, Data Science, Mobile, DevOps e Inovação & Gestão.

  • Alura Challenges

    Desafios temáticos para você turbinar seu portfólio. Você aprende na prática, com exercícios e projetos que simulam o dia a dia profissional.

  • Alura Cases

    Webséries exclusivas com discussões avançadas sobre arquitetura de sistemas com profissionais de grandes corporações e startups.

  • Certificado

    Emitimos certificados para atestar que você finalizou nossos cursos e formações.

  • Luri powered by ChatGPT

    Luri é nossa inteligência artificial que tira dúvidas, dá exemplos práticos e ajuda a mergulhar ainda mais durante as aulas. Você pode conversar com Luri até 100 mensagens por semana.

  • Alura Língua (incluindo curso Inglês para Devs)

    Estude a língua inglesa com um curso 100% focado em tecnologia e expanda seus horizontes profissionais.

Matricule-se
Conheça os Planos para Empresas

Acesso completo
durante 1 ano

Estude 24h/dia
onde e quando quiser

Novos cursos
todas as semanas