O que você aprenderá_
- Compreenda os conceitos dos formatos de arquivo JSON, CSV, TXT, AVRO, Parquet e ORC
- Entenda as vantagens e desvantagens de utilizar os diferentes tipos de arquivos
- Aprenda a ler e salvar arquivos em diferentes formatos
- Realize a compressão dos arquivos
- Aprenda sobre as diferentes opções que há no PySpark no momento da leitura e escrita de arquivos
- Faça uma análise comparativa entre os arquivos estudados
Público alvo_
Pessoas que trabalham com Big Data e precisam conhecer os formatos e tipos de arquivos utilizados no Databricks.
Bruno Raphaell
Bruno é um instrutor de Data Science e Engenheiro Eletricista pela Universidade Federal do Piauí. Se dedica em áreas como Data Science, Machine Learning e Deep Learning, e possui grande interesse em engenharia de dados e engenharia de machine learning. Além disso, em seu tempo livre, ele gosta de jogar xadrez, tocar instrumentos musicais e jogar League of Legends.
Nara Miranda Guimarães
Sarah David Müzel
Curso atualizado em 24/03/2023
Já estuda na Alura?
Comece o curso agoraEmenta
Conhecendo o DBFS e dbutils
- Entendendo o problema
- Apresentando o DBFS e dbutils
Conhecendo o JSON e CSV
- O que é um arquivo JSON?
- Salvando o JSON comprimido
- O que é um arquivo CSV?
- Salvando o CSV com compressão
Conhecendo o TXT e AVRO
- O que é um arquivo TXT?
- Salvando o TXT comprimido
- O que é um arquivo AVRO?
- Salvando AVRO com compressão
Conhecendo o PARQUET e ORC
- O que é um arquivo Parquet?
- Trabalhando com particionamento
- O que é um arquivo ORC?
- Agrupando as partições
Descubra se esse curso é pra você! Leia as primeiras aulas
-
Formação
Engenharia de dados com Databricks
8h
De curso
42
Atividades
Escola
Data Science
Pessoas estudando esse curso nesse mês:
Estude com elas
Douglas Soares Rodrigues
Matheus
Vinicius Franco Silva
Júlio César Droszczak
Paulo Alberto Pupin
e mais 119 pessoas
e mais 119 pessoas
Faça parte da nossa comunidade no discord!
Troque conhecimentos com a comunidade da Alura
Aprenda Engenharia de Dados com esse e outros cursos, comece agora!
Plus
De
R$ 1.800
12X
R$109
à vista
R$1.308
- Acesso a TODOS os cursos da Alura
Mais de 1500 cursos completamente atualizados, com novos lançamentos todas as semanas, emProgramação, Front-end, UX & Design, Data Science, Mobile, DevOps e Inovação & Gestão.
- Alura Challenges
Desafios temáticos para você turbinar seu portfólio. Você aprende na prática, com exercícios e projetos que simulam o dia a dia profissional.
- Alura Cases
Webséries exclusivas com discussões avançadas sobre arquitetura de sistemas com profissionais de grandes corporações e startups.
- Certificado
Emitimos certificados para atestar que você finalizou nossos cursos e formações.
Pro
De
R$ 2.400
12X
R$149
à vista
R$1.788
- Acesso a TODOS os cursos da Alura
Mais de 1500 cursos completamente atualizados, com novos lançamentos todas as semanas, emProgramação, Front-end, UX & Design, Data Science, Mobile, DevOps e Inovação & Gestão.
- Alura Challenges
Desafios temáticos para você turbinar seu portfólio. Você aprende na prática, com exercícios e projetos que simulam o dia a dia profissional.
- Alura Cases
Webséries exclusivas com discussões avançadas sobre arquitetura de sistemas com profissionais de grandes corporações e startups.
- Certificado
Emitimos certificados para atestar que você finalizou nossos cursos e formações.
- Luri powered by ChatGPT
Luri é nossa inteligência artificial que tira dúvidas, dá exemplos práticos e ajuda a mergulhar ainda mais durante as aulas. Você pode conversar com Luri até 100 mensagens por semana.
- Alura Língua (incluindo curso Inglês para Devs)
Estude a língua inglesa com um curso 100% focado em tecnologia e expanda seus horizontes profissionais.
Acesso completo
durante 1 ano
Estude 24h/dia
onde e quando quiser
Novos cursos
todas as semanas