Vitor Mello
Sou Senior Staff Data Scientist na Neon , com passagens por empresas como Nubank e QuintoAndar. Espe...
Dados
PySpark: processamento e modelagem em larga escala
8hCarga horária
57Atividades
161Estudantes
0,0Avaliação média
01Certificado
O que você vai aprender
- Leia diferentes formatos de dados (CSV, JSON, Parquet) e carregue-os em DataFrames do PySpark.
- Modele e transforme grandes volumes de dados aplicando joins, agregações e funções de janela para análises avançadas.
- Otimize consultas e pipelines aproveitando conceitos de Lazy Evaluation e o Catalyst Optimizer.
- Construa pipelines de processamento e de modelagem com suporte de IA que integrem etapas de transformação e preparo de features.
- Treine, valide e compare modelos de regressão e classificação usando validação cruzada e ajuste de hiperparâmetros.
- Salve e reutilize pipelines e modelos para aplicar previsões em novos conjuntos de dados.
Público alvo
Profissionais e estudantes de dados, como analistas, cientistas de dados e desenvolvedores Python, que desejam aprender a processar grandes volumes com Spark e construir pipelines de modelagem. Recomenda-se conhecimento prévio de SQL e Python.
Certificado reconhecido pelas maiores
empresas do Brasil e do mundo.
Aprenda com
quem está
construindo
o mercado
Vitor Mello
Sou Senior Staff Data Scientist na Neon , com passagens por empresas como Nubank e QuintoAndar. Espe...
Dados
Explore conteúdos
Inicie sua jornada agora.
Cursos relacionados em Engenharias e Arquiteturas de Dados
Consultas com SQL:
Joins, Views e transações
Ver mais em DadosCertificado Alura
Azure Data Lake:
criando um pipeline de ingestão de dados
Ver mais em DadosCertificado Alura
Engenharia de Dados:
Data Warehouses Modernos - Snowflake
Ver mais em DadosCertificado Alura
Spark:
processamento de linguagem natural
Ver mais em DadosCertificado Alura
