Data Science > Engenharia de Dados
curso de

Apache Beam: Data Pipeline com Python

Faz parte dos cursos de Engenharia de Dados em Data Science. Discussões sobre esse curso

Resumo do curso

  • Realize a ingestão de dados brutos
  • Entenda como aplicar processos de engenharia de dados
  • Produza uma análise estruturada com base nos dados lidos
  • Entenda para que realizar a paralelização de processos de transformações em dados brutos
  • Aplique as regras de negócio estabelecidas em transformações nos dados ingeridos
  • Una bases diferentes para que tenham correlações que possam ser extraídas
  • Persista os resultados das transformações para processos que utilizarão os dados tratados

Público alvo

Pessoas que trabalham com ciência, engenharia ou análise de dados que querem melhorar a forma de realizar a preparação de dados para outros processos ou aprender um novo ferramental para trabalhar com engenharia de dados.

Conteúdo relacionado

Cursos de Engenharia de Dados em Data Science

Leia nossos artigos de Data Science

Já é aluno?

Comece o curso agora

12h

p/ conclusão

63

Atividades

221

Minutos de video

273

Alunos nesse curso

9.4

Nota deste curso

Certificado de participação

Instrutores

  • Pedro Felipe Teixeira

    Pedro é formado em Mecatrônica Industrial, com mestrado em Energias Renováveis. Atuou na indústria e na construção civil com aplicações em Internet das Coisas e análise de dados, como desenvolvedor de software e atualmente trabalha como arquiteto de soluções, trabalhando com processos de Engenharia de Dados e Engenharia de Machine Learning no mercado de risco de crédito. Professor desde cedo, entende que quem mais aprende é quem mais compartilha.

Conteúdo Detalhado

  1. Data Pipeline

    • Apresentação
    • Data Pipeline
    • Dados brutos

  2. Pipeline e transformações

    • Apache Beam
    • Pipeline casos de dengue
    • De texto para lista

  3. Dados de dengue

    • De lista para dicionário
    • Tratando datas
    • Chave por estado

  4. Dados de chuvas

    • mm por estado, ano e mês
    • Somar dados
    • Pipeline de chuvas

  5. Agrupando e retornando tupla

    • Chave por estado ano mês
    • Agrupar e somar chuva
    • Retornar tupla

  6. Analisando e juntando pcollections

    • Análise de Pipelines
    • Mescla com CoGroupByKey
    • Filtro

  7. Persistência dos resultados

    • Desagrupamento
    • Preparo para escrita
    • Escrita
    • Análise
    • Conclusão

Ainda não estuda com a gente?

Invista na transformação da sua carreira!

Comece agora

Cursos relacionados em Engenharia de Dados

    Aprenda Engenharia de Dados com esse e outros cursos, comece agora!

    • 1268 cursos

      Cursos de programação, UX, agilidade, data science, transformação digital, mobile, front-end, marketing e infra.

    • Certificado de participação

      Certificado de que assistiu o curso e finalizou as atividades

    • App para Android e iPhone/iPad

      Estude até mesmo offline através das nossas apps Android e iOS em smartphones e tablets

    • Acesso à Alura Start

      Cursos de introdução a tecnologia através de games, apps e ciência

    • Acesso à Alura Língua

      Reforço online de inglês e espanhol para aprimorar seu conhecimento

    Premium

    • 1268 cursos

      Cursos de programação, UX, agilidade, data science, transformação digital, mobile, front-end, marketing e infra.

    • Certificado de participação

      Certificado de que assistiu o curso e finalizou as atividades

    • App para Android e iPhone/iPad

      Estude até mesmo offline através das nossas apps Android e iOS em smartphones e tablets

    • Acesso à Alura Start

      Cursos de introdução a tecnologia através de games, apps e ciência

    • Acesso à Alura Língua

      Reforço online de inglês e espanhol para aprimorar seu conhecimento

    12X
    R$75
    à vista R$900
    Matricule-se

    Premium Plus

    • 1268 cursos

      Cursos de programação, UX, agilidade, data science, transformação digital, mobile, front-end, marketing e infra.

    • Certificado de participação

      Certificado de que assistiu o curso e finalizou as atividades

    • App para Android e iPhone/iPad

      Estude até mesmo offline através das nossas apps Android e iOS em smartphones e tablets

    • Acesso à Alura Start

      Cursos de introdução a tecnologia através de games, apps e ciência

    • Acesso à Alura Língua

      Reforço online de inglês e espanhol para aprimorar seu conhecimento

    12X
    R$100
    à vista R$1.200
    Matricule-se

    Max

    • 1268 cursos

      Cursos de programação, UX, agilidade, data science, transformação digital, mobile, front-end, marketing e infra.

    • Certificado de participação

      Certificado de que assistiu o curso e finalizou as atividades

    • App para Android e iPhone/iPad

      Estude até mesmo offline através das nossas apps Android e iOS em smartphones e tablets

    • Acesso à Alura Start

      Cursos de introdução a tecnologia através de games, apps e ciência

    • Acesso à Alura Língua

      Reforço online de inglês e espanhol para aprimorar seu conhecimento

    12X
    R$120
    à vista R$1.440
    Matricule-se
    Conheça os Planos para Empresas

    Acesso completo
    durante 1 ano

    Estude 24h/dia
    onde e quando quiser

    Novos cursos
    todas as semanas

    Cursos

    Cursos de Programação
    Lógica | Python | PHP | Java | .NET | Node JS | C | Computação | Jogos | IoT
    Cursos de Front-end
    HTML, CSS | React | Angular | JavaScript | jQuery
    Cursos de Data Science
    SQL e Banco de Dados | NoSQL | Data Science | Machine Learning | BI | Estatística | Excel
    Cursos de DevOps
    AWS | Azure | Docker | Segurança | IaC | Linux
    Cursos de UX & Design
    Photoshop e Illustrator | Usabilidade e UX | Vídeo e Motion | 3D
    Cursos de Mobile
    Flutter, React Native | iOS e Swift | Android, Kotlin | Jogos
    Cursos de Inovação & Gestão
    Métodos Ágeis | Softskills | Liderança e Gestão | Startups | Vendas