Agnes Ruescas
Engenheira de Dados, formada em Engenharia da Computação pela FIAP e pós-graduanda em Engenharia de ...
Dados
PySpark e Databricks: pipelines de ETL e otimização de performance
8hCarga horária
70Atividades
125Estudantes
0,0Avaliação média
01Certificado
O que você vai aprender
- Crie e transforme DataFrames usando a API do PySpark e consultas SQL.
- Modele e infira schemas a partir de arquivos CSV para garantir a integridade dos dados.
- Implemente pipelines de ETL modularizados para leitura, limpeza, enriquecimento e gravação de dados.
- Trate tipos, valores nulos e padronize texto para preparar dados para análise e uso.
- Aplique caching, persistência em memória e particionamento para melhorar a performance de jobs.
- Armazene dados em formatos eficientes como Parquet e organize particionamento para consultas rápidas.
Público alvo
Profissionais, engenheiros de dados e estudantes que lidam com grandes volumes de dados e querem aprender a construir pipelines de ETL, transformar DataFrames e otimizar processamento distribuído no Databricks.
Ementa
- Introdução
- Preparando o ambiente: Arquivos do projeto
- O problema que o Spark resolve
- Otimização de busca de passagens na Jornada Milhas
- Como o Spark funciona no Databricks
- Trailers na Luz & Cena
- Spark vs SQL-quando usar cada um
- Para saber mais: comandos mágicos no databricks
- Escolhendo a ferramenta certa para análise de contatos na Indexa
- Estrutura de um job Spark básico
- Eficiência na entrega de pacotes com Hermex Log
- Faça como eu fiz: PySpark no Databricks
- O que aprendemos?
Certificado reconhecido pelas maiores
empresas do Brasil e do mundo.
Aprenda com
quem está
construindo
o mercado
Agnes Ruescas
Engenheira de Dados, formada em Engenharia da Computação pela FIAP e pós-graduanda em Engenharia de ...
Dados
Explore conteúdos
Inicie sua jornada agora.
Cursos relacionados em Engenharias e Arquiteturas de Dados
AWS Data Lake:
processando dados com AWS Glue
Ver mais em DadosCertificado Alura
Engenharia de Dados:
Arquiteturas de Dados Modernas - DW, Data Lake e Lakehouse
Ver mais em DadosCertificado Alura
Pipeline de dados:
combinando Python e orientação a objeto
Ver mais em DadosCertificado Alura
[EM BREVE] Engenharia de Dados:
Formatos Colunares e Data Lake Storage
Ver mais em DadosCertificado Alura
