49h

Para conclusão

5
Cursos
2
Vídeos extras
4
Artigos

Conheça a formação Apache Spark com Python

A formação Apache Spark com Python da Alura tem como objetivo preparar o(a) aluno(a) para trabalhar com Engenharia de Dados, Data Science e Machine Learning em um contexto de Big Data.

Funciona como um guia de aprendizado para auxiliar pessoas interessadas em entrar no mercado de trabalho e também como mecanismo de consulta para profissionais experientes.

O QUE É O APACHE SPARK?

O Apache Spark é um framework para computação distribuída que dá suporte para mais de uma linguagem de programação (Python, SQL, Scala, Java e R). Ele é utilizado para executar Engenharia de Dados, Data Science e Machine Learning em apenas um computador ou em um cluster. É uma ferramenta muito aplicada no contexto Big Data.

O QUE VAMOS APRENDER?

Nessa formação, vamos aprender a lidar com diferentes conjuntos de dados utilizando SQL de duas maneiras. Primeiro, fazendo uso de métodos específicos dos DataFrames Spark e, em um segundo momento, utilizando comandos SQL puros.

Por fim, vamos focar nossos estudos em modelos de Machine Learning com o uso do MLlib do Spark.

Por que estudar esta formação?

  • Guia de aprendizado

    Conteúdos pensados para facilitar seu estudo

  • Do básico ao avançado

    Formação completa para o mercado

  • Você dentro do mercado

    Do zero ao sonhado emprego em sua área de interesse

Comece essa formação agora mesmo e capacite-se para seu próximo projeto!

Conheça os planos

Com quem você vai aprender?

  • Rodrigo Fernando Dias

    Rodrigo é estatístico e especialista em Big Data com forte interesse em geoprocessamento, desenvolvimento web, web scraping, machine learning e Data Science. É instrutor e tech lead da escola de dados da Alura.

  • Rodrigo Fernando Dias

    Rodrigo é estatístico e especialista em Big Data com forte interesse em geoprocessamento, desenvolvimento web, web scraping, machine learning e Data Science. É instrutor e tech lead da escola de dados da Alura.

  • Pedro Henrique Campagna Moura da Silva

    Técnico em Informática e Analista de Relações Internacionais, trabalhou com desenvolvimento de software e ciência de dados voltados para pesquisa. Atualmente estuda governança de dados e tenta sempre construir pontes entre a tecnologia e o internacional.

  • Pedro Henrique Campagna Moura da Silva

    Técnico em Informática e Analista de Relações Internacionais, trabalhou com desenvolvimento de software e ciência de dados voltados para pesquisa. Atualmente estuda governança de dados e tenta sempre construir pontes entre a tecnologia e o internacional.

  • Ana Duarte

    Sou bacharela em Estatística e atualmente curso Ciência da Computação. Já atuei como cientista de dados no ramo educacional e financeiro e hoje sou instrutora na Escola de Dados da Alura e voluntária na equipe de projetos do grupo Data Girls. Sou apaixonada por transformar dados em informação inteligente usando a ciência de dados em diversos tipos de aplicação. Fora isso, sempre estou acompanhando alguma série e procurando novas rotas para andar de bike.

  • Ana Duarte

    Sou bacharela em Estatística e atualmente curso Ciência da Computação. Já atuei como cientista de dados no ramo educacional e financeiro e hoje sou instrutora na Escola de Dados da Alura e voluntária na equipe de projetos do grupo Data Girls. Sou apaixonada por transformar dados em informação inteligente usando a ciência de dados em diversos tipos de aplicação. Fora isso, sempre estou acompanhando alguma série e procurando novas rotas para andar de bike.

  • Igor Nascimento Alves

    Sou graduado em Ciência da Computação. Atuo como instrutor de Data Science e Machine Learning no Grupo Alura, tendo como principais interesses na tecnologia: criação de modelos e análise de dados. Nas horas vagas assisto e analiso dados de basquete e adoro ouvir podcasts de humor como Nerdcast e Jujubacast.

  • Igor Nascimento Alves

    Sou graduado em Ciência da Computação. Atuo como instrutor de Data Science e Machine Learning no Grupo Alura, tendo como principais interesses na tecnologia: criação de modelos e análise de dados. Nas horas vagas assisto e analiso dados de basquete e adoro ouvir podcasts de humor como Nerdcast e Jujubacast.

  • Bruno Raphaell

    Bruno é um instrutor de Data Science e Engenheiro Eletricista pela Universidade Federal do Piauí. Se dedica em áreas como Data Science, Machine Learning e Deep Learning, e possui grande interesse em engenharia de dados e engenharia de machine learning. Além disso, em seu tempo livre, ele gosta de jogar xadrez, tocar instrumentos musicais e jogar League of Legends.

  • Bruno Raphaell

    Bruno é um instrutor de Data Science e Engenheiro Eletricista pela Universidade Federal do Piauí. Se dedica em áreas como Data Science, Machine Learning e Deep Learning, e possui grande interesse em engenharia de dados e engenharia de machine learning. Além disso, em seu tempo livre, ele gosta de jogar xadrez, tocar instrumentos musicais e jogar League of Legends.

Passo a passo
  1. 1 Spark SQL

    Neste passo inicial, preparamos um conteúdo para ajudar você a conhecer melhor o Apache Spark e como iniciar um projeto com esta ferramenta.

    No primeiro curso dessa jornada, você vai aprender a trabalhar com dados no Spark utilizando instruções SQL com a linguagem Python através da biblioteca PySpark.

  2. 2 Machine Learning com Spark

    Com foco maior na construção de modelos de Machine Learning, esta etapa mostra como utilizar as ferramentas nativas do Spark para implementação de projetos de aprendizagem supervisionados e não supervisionados.

    Vamos trabalhar com o MLlib do Spark e desenvolver projetos com modelos de regressão, classificação, clusterização e problemas que envolvem processamento de linguagem natural. Tudo isso acompanhado de alguns artigos para complementar os seus estudos.

    • Artigo Machine learning com Apache Spark

    • Curso Spark: trabalhando com regressão

      08h
      • Aprenda a utilizar o Python para criar aplicações Spark
      • Descubra como fazer ciência de dados com as ferramentas do Spark
      • Crie modelos de machine learning utilizando o PySpark
      • Utilize árvores de decisão e random forest para problemas de regressão
      • Descubra formas de otimizar seus modelos de machine learning
      • Realize previsões de seus dados com modelos de regressão no Spark
    • Curso Spark: criando modelos de classificação

      10h
      • Utilize o PySPark para completar o pipeline do machine learing
      • Trate dados utilizando o PySprak SQL
      • Crie modelos utilizando PySparkMLlib
      • Valide de modelos com PySpark MLlib
      • Otimize modelos com PySpark MLlib
    • Curso Spark: processamento de linguagem natural

      08h
      • Aprenda os principais passos no processamento de linguagem natural
      • Remova caracteres especial usando expressões regulares
      • Aplique o conceito de tokenização nos dados
      • Remova as palavras vazias ou StopWords
      • Construa a Sacola de Palavas ou Bag of Word
      • Aprenda a ler o resultado do Bag of Word no PySpark
      • Entenda a relevancia das palavras com o TF-IDF
      • Ajuste uma Árvore de Decisão para classificar
    • Artigo Spark NLP: trabalhando linguagem natural de forma mais otimizada

    • Curso Spark: sistema de recomendação

      10h
      • Utilize o PySPark para criar um pipeline do machine learning
      • Leia e manipule os dados utilizando PySpark SQL
      • Vetorize os dados utilizando PySpark
      • Reduza a dimensionalidade dos dados com PCA utilizando PySpark
      • Desenvolva clusters com K-means utilizando PySpark MLlib
      • Visualize dados utilizando Plotly

Escola

Data Science

Além dessa, a categoria Data Science conta com cursos de Ciência de dados, BI, SQL e Banco de Dados, Excel, Machine Learning, NoSQL, Estatística,e mais...

Conheça a Escola

Comece hoje mesmo os cursos de Apache Spark com Python. Matricule-se agora!

Plus

De
R$ 1.800
12X
R$109
à vista R$1.308
  • Acesso a TODOS os cursos da Alura

    Mais de 1500 cursos completamente atualizados, com novos lançamentos todas as semanas, emProgramação, Front-end, UX & Design, Data Science, Mobile, DevOps e Inovação & Gestão.

  • Alura Challenges

    Desafios temáticos para você turbinar seu portfólio. Você aprende na prática, com exercícios e projetos que simulam o dia a dia profissional.

  • Alura Cases

    Webséries exclusivas com discussões avançadas sobre arquitetura de sistemas com profissionais de grandes corporações e startups.

  • Certificado

    Emitimos certificados para atestar que você finalizou nossos cursos e formações.

Matricule-se

Pro

De
R$ 2.400
12X
R$149
à vista R$1.788
  • Acesso a TODOS os cursos da Alura

    Mais de 1500 cursos completamente atualizados, com novos lançamentos todas as semanas, emProgramação, Front-end, UX & Design, Data Science, Mobile, DevOps e Inovação & Gestão.

  • Alura Challenges

    Desafios temáticos para você turbinar seu portfólio. Você aprende na prática, com exercícios e projetos que simulam o dia a dia profissional.

  • Alura Cases

    Webséries exclusivas com discussões avançadas sobre arquitetura de sistemas com profissionais de grandes corporações e startups.

  • Certificado

    Emitimos certificados para atestar que você finalizou nossos cursos e formações.

  • Luri powered by ChatGPT

    Luri é nossa inteligência artificial que tira dúvidas, dá exemplos práticos e ajuda a mergulhar ainda mais durante as aulas. Você pode conversar com Luri até 100 mensagens por semana.

  • Alura Língua (incluindo curso Inglês para Devs)

    Estude a língua inglesa com um curso 100% focado em tecnologia e expanda seus horizontes profissionais.

Matricule-se
Conheça os Planos para Empresas

Acesso completo
durante 1 ano

Estude 24h/dia
onde e quando quiser

Novos cursos
todas as semanas