O que você aprenderá_
- Aprenda como utilizar o Python para criar aplicações Spark
- Descubra como fazer ciência de dados com as ferramentas do Spark
- Conheça o DataFrame do Spark
- Manipule conjuntos de dados volumosos
- Conheça e crie arquivos utilizados em projetos Big Data
Público alvo_
Cientistas de dados e entusiastas em dados com um conhecimento intermediário na linguagem Python e básico em instruções SQL.
Rodrigo Fernando Dias
Rodrigo é estatístico e especialista em Big Data com forte interesse em geoprocessamento, desenvolvimento web, web scraping, machine learning e Data Science. É instrutor e tech lead da escola de dados da Alura.
Curso atualizado em 06/09/2023
Já estuda na Alura?
Comece o curso agoraEmenta
Começando o Trabalho
- Apresentação
- Apache Spark - Introdução
- Utilizando Spark no Windows
- Spark no Google Colab
Carregamento de Dados
- SparkSession
- DataFrames com Spark
- Carregamento de dados
Manipulando os Dados
- Operações básicas
- Analisando os dados
- Convertendo String - Double
- Convertendo String - Date
Seleções e Consultas
- Selecionando informações
- Identificando valores nulos
- Ordenando os dados
- Filtrando os dados
- O comando LIKE
Agregações e Junções
- Sumarizando os dados
- Juntando DataFrames
- SparkSQL
Formas de Armazenamento
- Arquivos CSV
- Arquivos Parquet
- Particionamento dos dados
- Conclusão
Descubra se esse curso é pra você! Leia as primeiras aulas
-
Formação
Apache Spark com Python
10h
De curso
66
Atividades
Escola
Data Science
Pessoas estudando esse curso nesse mês:
Estude com elas
Francisco Hoffmann
Rafael Porfirio
Clarice Dantas
Amanda Ferreira Gomes
Ruth de Oliveira Carvalho
e mais 639 pessoas
e mais 639 pessoas
Faça parte da nossa comunidade no discord!
Troque conhecimentos com a comunidade da Alura
Aprenda Engenharia de Dados com esse e outros cursos, comece agora!
Plus
De
R$ 1.800
12X
R$109
à vista
R$1.308
- Acesso a TODOS os cursos da Alura
Mais de 1500 cursos completamente atualizados, com novos lançamentos todas as semanas, emProgramação, Front-end, UX & Design, Data Science, Mobile, DevOps e Inovação & Gestão.
- Alura Challenges
Desafios temáticos para você turbinar seu portfólio. Você aprende na prática, com exercícios e projetos que simulam o dia a dia profissional.
- Alura Cases
Webséries exclusivas com discussões avançadas sobre arquitetura de sistemas com profissionais de grandes corporações e startups.
- Certificado
Emitimos certificados para atestar que você finalizou nossos cursos e formações.
Pro
De
R$ 2.400
12X
R$149
à vista
R$1.788
- Acesso a TODOS os cursos da Alura
Mais de 1500 cursos completamente atualizados, com novos lançamentos todas as semanas, emProgramação, Front-end, UX & Design, Data Science, Mobile, DevOps e Inovação & Gestão.
- Alura Challenges
Desafios temáticos para você turbinar seu portfólio. Você aprende na prática, com exercícios e projetos que simulam o dia a dia profissional.
- Alura Cases
Webséries exclusivas com discussões avançadas sobre arquitetura de sistemas com profissionais de grandes corporações e startups.
- Certificado
Emitimos certificados para atestar que você finalizou nossos cursos e formações.
- Luri powered by ChatGPT
Luri é nossa inteligência artificial que tira dúvidas, dá exemplos práticos e ajuda a mergulhar ainda mais durante as aulas. Você pode conversar com Luri até 100 mensagens por semana.
- Alura Língua (incluindo curso Inglês para Devs)
Estude a língua inglesa com um curso 100% focado em tecnologia e expanda seus horizontes profissionais.
Acesso completo
durante 1 ano
Estude 24h/dia
onde e quando quiser
Novos cursos
todas as semanas