O que você aprenderá_

Aprenda como utilizar o Python para criar aplicações Spark
Descubra como fazer ciência de dados com as ferramentas do Spark
Conheça o DataFrame do Spark
Manipule conjuntos de dados volumosos
Conheça e crie arquivos utilizados em projetos Big Data

Público alvo_

Cientistas de dados e entusiastas em dados com um conhecimento intermediário na linguagem Python e básico em instruções SQL.

Rodrigo Fernando Dias

Rodrigo é estatístico e especialista em Big Data com forte interesse em inteligência artificial, ferramentas de automação, geoprocessamento, desenvolvimento web, web scraping, machine learning e Data Science. É instrutor e coordenados da Escola de Dados da Alura.

Curso atualizado em 19/02/2025

Já estuda na Alura?

Comece o curso agora

Ementa

Começando o Trabalho
- Apresentação
- Apache Spark - Introdução
- Utilizando Spark no Windows
- Spark no Google Colab
Carregamento de Dados
- SparkSession
- DataFrames com Spark
- Carregamento de dados
Manipulando os Dados
- Operações básicas
- Analisando os dados
- Convertendo String - Double
- Convertendo String - Date
Seleções e Consultas
- Selecionando informações
- Identificando valores nulos
- Ordenando os dados
- Filtrando os dados
- O comando LIKE
Agregações e Junções
- Sumarizando os dados
- Juntando DataFrames
- SparkSQL
Formas de Armazenamento
- Arquivos CSV
- Arquivos Parquet
- Particionamento dos dados
- Conclusão

Descubra se esse curso é pra você! Leia as primeiras aulas

Comece essa formação agora mesmo e capacite-se para seu próximo projeto!

Conheça os planos

Este e mais 4 cursos fazem parte das seguintes formações

Nossas formações são uma sequência de cursos e conteúdo para você se profissionalizar e se tornar quem o mercado procura!

Formação
Apache Spark com Python

10h
De curso

66
Atividades

Escola

Data Science

Trabalhe com dados. Aprofunde seu conhecimento nas principais ferramentas de uma pessoa data scientist. Descubra as diferentes possibilidades de análise de dados, do Excel ao Python, e mergulhe em frameworks e bibliotecas, como Pandas, Scikit-Learn e Seaborn.

Conheça a escola