Dados

PySpark: processamento e modelagem em larga escala

Name: Curso PySpark: processamento e modelagem em larga escala
Rating: 9.3 (39 reviews)

Estudar na Alura

8hCarga horária

57Atividades

217Estudantes

9,3Avaliação média

01Certificado

8hCarga horária

57Atividades

O que você vai aprender

Leia diferentes formatos de dados (CSV, JSON, Parquet) e carregue-os em DataFrames do PySpark.
Modele e transforme grandes volumes de dados aplicando joins, agregações e funções de janela para análises avançadas.
Otimize consultas e pipelines aproveitando conceitos de Lazy Evaluation e o Catalyst Optimizer.
Construa pipelines de processamento e de modelagem com suporte de IA que integrem etapas de transformação e preparo de features.
Treine, valide e compare modelos de regressão e classificação usando validação cruzada e ajuste de hiperparâmetros.
Salve e reutilize pipelines e modelos para aplicar previsões em novos conjuntos de dados.

Público alvo

Profissionais e estudantes de dados, como analistas, cientistas de dados e desenvolvedores Python, que desejam aprender a processar grandes volumes com Spark e construir pipelines de modelagem. Recomenda-se conhecimento prévio de SQL e Python.

Iniciar curso

Ementa

Apresentação
Preparando o ambiente
Conhecendo Spark
Instalando o PySpark
Spark Session
Catalyst Optimizer na otimização de consultas de segurança
Para saber mais: catalyst optimizer do Apache Spark
O que aprendemos?

Descubra se esse curso é pra você!

Certificado reconhecido pelas maiores
empresas do Brasil e do mundo.

Aprenda com
quem está
construindo
o mercado

Vitor Mello

Sou Senior Staff Data Scientist na Neon , com passagens por empresas como Nubank e QuintoAndar. Espe...

Vitor Mello

Sou Senior Staff Data Scientist na Neon , com passagens por empresas como Nubank e QuintoAndar. Espe...

www.linkedin.com/in/vhomello/

Dados

Explore conteúdos

Inicie sua jornada agora.

Cursos relacionados em Engenharias e Arquiteturas de Dados

Consultas com SQL:

Joins, Views e transações

16h

Ver mais em DadosCertificado Alura

Azure Data Lake:

criando um pipeline de ingestão de dados

Ver mais em DadosCertificado Alura

Engenharia de Dados:

Data Warehouses Modernos - Snowflake

Ver mais em DadosCertificado Alura

Spark:

processamento de linguagem natural

Ver mais em DadosCertificado Alura

Quem aprende junto,
avança mais rápido.

Conheça as pessoas que estão aprendendo com esse curso agora:

Gabriel de Paula dos Santos Martins

Gustavo Correard de Macedo

Antonio Michel Ferreira dos Santos

André Luiz Pedroso

Rafael Wollace Ferreira Cunha

Gabriel de Paula dos Santos Martins

Gustavo Correard de Macedo

Antonio Michel Ferreira dos Santos

André Luiz Pedroso

Ganhe +1 mês extra de Alura.

até30%OFF

Mais tempo para evoluir. Mais caminho para construir.

Ultra Lab 24

30% OFF

Preço original: ~~R$ 640,00~~

12x

R$448,00

2 anos de Alura

Valor à vista com desconto: R$ 5.376,00

Matricule-se

Para quem quer atingir seus objetivos mais rápido: Luri Vision ilimitado, vagas de emprego exclusivas e mentorias para acelerar cada etapa da jornada.

33 Carreiras
2.301 Cursos
Acesso a TODOS os cursos por 25 meses
Certificados reconhecidos
Mentorias em grupo com especialistas
MarTech Lab: mais de 150 cursos de tecnologia aplicada ao marketing
Acesso ao livros da Casa do Código
Comunidade exclusiva com eventos e networking
Acesso às Imersões: projetos reais para o portfólio em 5 aulas
App Android e iOS para estudar onde quiser
Luri (com acesso ilimitado): nossa IA exclusiva, que acelera e personaliza seu aprendizado
Modo Entrevista: pratique com situações reais e feedbacks personalizados
Luri Vision: a versão mais completa da nossa IA, que permite envio de imagens
20% OFF na Pós Tech: excelência acadêmica da FIAP, com foco prático da Alura
Mentorias de carreira: 2 encontros individuais com mentores do Talent Lab
Lives CareerUp: eventos exclusivos com foco em empregabilidade e carreira
Talent Lab: prepare-se para o mercado com networking e vagas exclusivas
Alura Língua: cursos de inglês e espanhol com foco na área tech

33 Carreiras
2.301 Cursos
Acesso a TODOS os cursos por 25 meses

Matricule-se

Ver todos benefícios

Carreiras

Área de Interesse

Aulas ao Vivo - Skills & Go

Senioridade

Eventos Alura

Conteúdos

Outras empresas do Grupo Alun

Outras empresas do Grupo Alun

Carreiras

Área de Interesse

Aulas ao Vivo - Skills & Go

Senioridade

Eventos Alura

Conteúdos

Outras empresas do Grupo Alun

Outras empresas do Grupo Alun

PySpark: processamento e modelagem em larga escala

O que você vai aprender

Público alvo

Ementa

Aprenda com
quem está
construindo
o mercado

Vitor Mello

Vitor Mello

Dados

Cursos relacionados em Engenharias e Arquiteturas de Dados

Consultas com SQL:

Azure Data Lake:

Engenharia de Dados:

Spark:

Quem aprende junto,
avança mais rápido.

Conheça as pessoas que estão aprendendo com esse curso agora:

Plus 24

Pro 24

Ultra Lab 24

Carreiras

Área de Interesse

Aulas ao Vivo - Skills & Go

Senioridade

Eventos Alura

Conteúdos

Carreiras

Área de Interesse

Aulas ao Vivo - Skills & Go

Senioridade

Eventos Alura

Conteúdos

PySpark: processamento e modelagem em larga escala

O que você vai aprender

Público alvo

Ementa

Fundamentos do Spark e PySpark

Entrada e Saída de Dados

Seleções, Criação de Colunas e Transformações Essenciais

Agregações, GroupBy e Joins

Window Functions

Consultas, Ordenação e Spark SQL

Preparação de Dados para Machine Learning com PySpark MLlib

Modelagem Preditiva e Pipelines em MLlib

Avaliação, Otimização e Deploy Técnico de Modelos

Aprenda comquem estáconstruindoo mercado

Vitor Mello

Vitor Mello

Dados

Cursos relacionados em Engenharias e Arquiteturas de Dados

Consultas com SQL:

Azure Data Lake:

Engenharia de Dados:

Spark:

Quem aprende junto,avança mais rápido.

Conheça as pessoas que estão aprendendo com esse curso agora:

Plus 24

Pro 24

Ultra Lab 24

Aprenda com
quem está
construindo
o mercado

Quem aprende junto,
avança mais rápido.