Agnes Ruescas
Engenheira de Dados, formada em Engenharia da Computação pela FIAP e pós-graduanda em Engenharia de ...
Data Science
PySpark e Databricks: pipelines de ETL e otimização de performance
8hCarga horária
70Atividades
1Estudantes
0,0Avaliação média
01Certificado
O que você vai aprender
- Crie e transforme DataFrames usando a API do PySpark e consultas SQL.
- Modele e infira schemas a partir de arquivos CSV para garantir a integridade dos dados.
- Implemente pipelines de ETL modularizados para leitura, limpeza, enriquecimento e gravação de dados.
- Trate tipos, valores nulos e padronize texto para preparar dados para análise e uso.
- Aplique caching, persistência em memória e particionamento para melhorar a performance de jobs.
- Armazene dados em formatos eficientes como Parquet e organize particionamento para consultas rápidas.
Público alvo
Profissionais, engenheiros de dados e estudantes que lidam com grandes volumes de dados e querem aprender a construir pipelines de ETL, transformar DataFrames e otimizar processamento distribuído no Databricks.
Ementa
- Introdução
- Preparando o ambiente: Arquivos do projeto
- O problema que o Spark resolve
- Otimização de busca de passagens na Jornada Milhas
- Como o Spark funciona no Databricks
- Trailers na Luz & Cena
- Spark vs SQL-quando usar cada um
- Para saber mais: comandos mágicos no databricks
- Escolhendo a ferramenta certa para análise de contatos na Indexa
- Estrutura de um job Spark básico
- Eficiência na entrega de pacotes com Hermex Log
- Faça como eu fiz: PySpark no Databricks
- O que aprendemos?
Certificado reconhecido pelas maiores
empresas do Brasil e do mundo.
Aprenda com
quem está
construindo
o mercado
Agnes Ruescas
Engenheira de Dados, formada em Engenharia da Computação pela FIAP e pós-graduanda em Engenharia de ...
Data Science
Trabalhe com dados. Aprofunde seu conhecimento nas principais ferramentas de uma pessoa data scientist. Descubra as diferentes possibilidades de análise de dados, do Excel ao Python, e mergulhe em frameworks e bibliotecas, como Pandas, Scikit-Learn e Seaborn.
Explore conteúdos
Inicie sua jornada agora.
Cursos relacionados em Engenharia de Dados
AWS Data Lake:
processando dados com AWS Glue
Ver mais em Data ScienceCertificado Alura
Engenharia de Dados:
Arquiteturas de Dados Modernas - DW, Data Lake e Lakehouse
Ver mais em Data ScienceCertificado Alura
Pipeline de dados:
combinando Python e orientação a objeto
Ver mais em Data ScienceCertificado Alura
[EM BREVE] Engenharia de Dados:
Formatos Colunares e Data Lake Storage
Ver mais em Data ScienceCertificado Alura
