55h

Para conclusão

6
Cursos
2
Vídeos extras
9
Artigos

Conheça a formação de Primeiros passos com Engenharia de Dados

A formação Primeiros passos com Engenharia de Dados busca preparar iniciantes da área de Engenharia de Dados para os desafios do dia a dia profissional, usando Python, SQL, NoSQL e outras ferramentas.

Funciona como um guia de aprendizado para auxiliar pessoas interessadas em entrar no mercado de trabalho e também como mecanismo de consulta para profissionais experientes.

O QUE É ENGENHARIA DE DADOS?

A Engenharia de Dados desempenha um papel crucial na indústria da tecnologia, permitindo que empresas de diversos setores coletem, armazenem, processem e analisem grandes volumes de dados em tempo real.

Profissionais especializados nessa área são responsáveis por projetar, implementar e manter a infraestrutura necessária para o gerenciamento eficiente dos dados de uma organização. Eles criam fluxos de dados que integram, limpam e transformam informações provenientes de diferentes fontes e formatos, possibilitando a geração de insights valiosos para a tomada de decisões empresariais.

O QUE VAMOS APRENDER?

Nesta formação, você terá a oportunidade de adquirir conhecimentos essenciais para ingressar na área de Engenharia de Dados. Exploraremos diversos tópicos fundamentais, como Python, SQL e pipelines de dados.

Iniciaremos aprendendo a construir pipelines ETL (Extract, Transform e Load) utilizando a linguagem Python, além de compreender como aplicar Programação Orientada a Objetos (POO) para tornar seus códigos mais legíveis.

Além disso, nesta formação, você terá a oportunidade de compreender a diferença entre bancos de dados SQL e NoSQL, assim como os principais conceitos relacionados a esses sistemas de armazenamento de dados.

Por fim, você consolidará todos os conhecimentos adquiridos ao longo dessa formação, desenvolvendo um pipeline completo de Engenharia de Dados. Você terá um primeiro contato com uma das ferramentas de gerenciamento de fluxos de dados, o Airflow. Essa experiência irá ampliar ainda mais suas habilidades e prepará-lo para enfrentar desafios reais na área de dados.

QUAIS SÃO OS PRÉ-REQUISITOS PARA FAZER ESSA FORMAÇÃO?

Para aproveitar melhor esse conteúdo, é importante que você já tenha conhecimento dos conceitos-chave do Python aplicados à área de Data Science de forma abrangente.

Por que estudar esta formação?

  • Guia de aprendizado

    Conteúdos pensados para facilitar seu estudo

  • Do básico ao avançado

    Formação completa para o mercado

  • Você dentro do mercado

    Do zero ao sonhado emprego em sua área de interesse

Comece essa formação agora mesmo e capacite-se para seu próximo projeto!

Conheça os planos

Com quem você vai aprender?

  • Danielle Oliveira

    Danielle é formada em Sistemas de Informação. Fez parte do Scuba Team. Atualmente é instrutora de Data Science, nas áreas de Banco de dados, Business Intelligence e NoSQL. É apaixonada por livros, música e tecnologia.

  • Danielle Oliveira

    Danielle é formada em Sistemas de Informação. Fez parte do Scuba Team. Atualmente é instrutora de Data Science, nas áreas de Banco de dados, Business Intelligence e NoSQL. É apaixonada por livros, música e tecnologia.

  • Millena Gená Pereira

    Millena Gená é estudante de Ciência da Computação. Atualmente, é Instrutora de Dados aqui na Alura atuando principalmente na área de Engenharia de dados. Ela está sempre procurando aprender algo novo sobre tecnologia e é apaixonada por novas aventuras. Programar e ajudar as pessoas são seus hobbies favoritos! ^^

  • Millena Gená Pereira

    Millena Gená é estudante de Ciência da Computação. Atualmente, é Instrutora de Dados aqui na Alura atuando principalmente na área de Engenharia de dados. Ela está sempre procurando aprender algo novo sobre tecnologia e é apaixonada por novas aventuras. Programar e ajudar as pessoas são seus hobbies favoritos! ^^

  • Igor Nascimento Alves

    Sou graduado em Ciência da Computação. Atuo como instrutor de Data Science e Machine Learning no Grupo Alura, tendo como principais interesses na tecnologia: criação de modelos e análise de dados. Nas horas vagas assisto e analiso dados de basquete e adoro ouvir podcasts de humor como Nerdcast e Jujubacast.

  • Igor Nascimento Alves

    Sou graduado em Ciência da Computação. Atuo como instrutor de Data Science e Machine Learning no Grupo Alura, tendo como principais interesses na tecnologia: criação de modelos e análise de dados. Nas horas vagas assisto e analiso dados de basquete e adoro ouvir podcasts de humor como Nerdcast e Jujubacast.

  • Ana Duarte

    Sou bacharela em Estatística e atualmente curso Ciência da Computação. Já atuei como cientista de dados no ramo educacional e financeiro e hoje sou instrutora na Escola de Dados da Alura e voluntária na equipe de projetos do grupo Data Girls. Sou apaixonada por transformar dados em informação inteligente usando a ciência de dados em diversos tipos de aplicação. Fora isso, sempre estou acompanhando alguma série e procurando novas rotas para andar de bike.

  • Ana Duarte

    Sou bacharela em Estatística e atualmente curso Ciência da Computação. Já atuei como cientista de dados no ramo educacional e financeiro e hoje sou instrutora na Escola de Dados da Alura e voluntária na equipe de projetos do grupo Data Girls. Sou apaixonada por transformar dados em informação inteligente usando a ciência de dados em diversos tipos de aplicação. Fora isso, sempre estou acompanhando alguma série e procurando novas rotas para andar de bike.

  • Vinicius Dias

    Zend Certified Engineer (Engenheiro PHP Certificado pela Zend), iMasters Certified Professional, desenvolvedor Full Stack, formado em Tecnologia da Informação e amante de boas práticas de desenvolvimento, sempre tento aplicar a regra do bom escoteiro nos códigos: Sempre deixe o local mais limpo do que quando você o encontrou.

  • Vinicius Dias

    Zend Certified Engineer (Engenheiro PHP Certificado pela Zend), iMasters Certified Professional, desenvolvedor Full Stack, formado em Tecnologia da Informação e amante de boas práticas de desenvolvimento, sempre tento aplicar a regra do bom escoteiro nos códigos: Sempre deixe o local mais limpo do que quando você o encontrou.

  • Marcus Almeida

    Bacharelando em Engenharia Elétrica pelo Instituto Federal do Maranhão. Atuou como parte do Scuba Team da Escola de Dados na Alura, trabalhando com conteúdos voltados a Data Science, Machine Learning, Python e SQL. Adora conversar tecnologia, universo geek, games e também aprender coisas novas.

  • Marcus Almeida

    Bacharelando em Engenharia Elétrica pelo Instituto Federal do Maranhão. Atuou como parte do Scuba Team da Escola de Dados na Alura, trabalhando com conteúdos voltados a Data Science, Machine Learning, Python e SQL. Adora conversar tecnologia, universo geek, games e também aprender coisas novas.

Passo a passo
  1. 1 Python para Engenharia de Dados

    Neste passo inicial, o objetivo é que você se familiarize com a área da Engenharia de Dados, explorando o uso da linguagem Python e várias ferramentas de análise e gerenciamento de dados.

    Na primeira etapa dessa jornada, você irá descobrir os fundamentos da Engenharia de Dados, aprenderá a importância de uma pessoa Engenheira de Dados no mundo atual, e como Python se aplica nesta área, aprendendo a criar seus próprios pipelines ETL.

    Você também vai aprender a usar o WSL para executar programas e comandos Linux no Windows e a criar e gerenciar ambientes virtuais em Python. Além disso, terá uma introdução à Programação Orientada a Objetos (POO) e ao uso da biblioteca requests do Python para trabalhar com APIs. No final desta etapa, você será capaz de utilizar os principais recursos do Python para montar seus próprios pipelines e extrair, transformar e armazenar diferentes tipos de dados.

  2. 2 Sistemas de armazenamento de dados

    Vamos embarcar em uma jornada para entender a diferença entre bancos de dados SQL e NoSQL. Exploraremos os conceitos de bancos de dados relacionais e não relacionais, além de descobrir em quais situações utilizar cada tipo de banco de dados.

    Você terá a oportunidade de aprender a modelar um banco de dados relacional utilizando SQL, usando o SGBD MySQL e suas principais cláusulas. Demonstraremos como criar esquemas e tabelas, definir chaves primárias e estrangeiras, além de realizar filtros, inserir e excluir informações, utilizar funções de agregação e explorar outros conceitos e técnicas essenciais.

    Logo em seguida, introduziremos o MongoDB, um banco de dados orientado a documentos que armazena informações em formato JSON. Você aprenderá a importar dados de arquivos JSON, realizar buscas, atualizar registros e remover informações.

    Além disso, abordaremos os bancos de dados em nuvem e forneceremos orientações sobre quando utilizar cada um dos tipos de banco de dados apresentados.

    • Artigo SQL e NoSQL: trabalhando com bancos relacionais e não relacionais

    • Curso Modelagem de banco de dados relacional: entendendo SQL

      06h
      • Conheça a importância da linguagem SQL para implentar um modelo relacional
      • Aprenda a instalar os componentes necessários para utilizar o MySQL
      • Entenda a criação de esquema e tabelas
      • Conheça como alterar tabelas para adicionar restrições e estabelecer a integridade referencial
      • Aprenda a definir a chave primária e a chave estrangeira de uma tabela
      • Aprenda três diferentes maneiras de inserir informações em tabelas
      • Conheça como ter informações específicas usando o WHERE para criar filtros
      • Entenda o processo de deletar e atualizar informações usando SQL
      • Saiba usar funções de agregações para trazer métricas nas consultas
      • Compreenda a junção entre tabelas com o INNER JOIN, LEFT JOIN e RIGHT JOIN
    • Artigo Banco de dados relacionais: conhecendo conceitos, terminologias e ferramentas | Alura

    • Curso MongoDB: conhecendo um banco de dados NoSQL

      08h
      • Conheça o NoSQL
      • Realize a instalação do MongoDB
      • Crie banco de dados e coleções
      • Importe dados de um arquivo JSON
      • Realize buscas utilizando o método Find
      • Atualize os dados utilizando o método Update
      • Remova dados utilizando o método Delete
    • Alura+ O que é NoSQL?

    • Artigo Bancos de dados na nuvem | Alura

  3. 3 Iniciando um projeto de Engenharia de Dados

    Neste terceiro passo, temos a intenção de orientá-lo na compreensão de um elemento crucial da Engenharia de Dados: o pipeline de dados. Este é um conceito essencial para o gerenciamento eficiente de dados em qualquer projeto de Ciência de Dados.

    Nessa etapa, você irá descobrir o que é um pipeline de dados através de um artigo informativo, seguido de um curso prático onde você construirá seu próprio pipeline de dados utilizando Python. Além disso, exploraremos o GitHub, uma ferramenta crucial para o gerenciamento e colaboração em projetos de desenvolvimento de software, através do Alura+, que oferece diferentes maneiras de utilizar essa ferramenta.

    Por fim, você aprenderá sobre a importância dos testes em um código de ETL (Extract, Transform, Load), uma técnica essencial na Engenharia de Dados para extrair dados de várias fontes, transformá-los para se adequar ao armazenamento de dados empresarial, e carregá-los em um sistema de destino.

    Ao concluir esta etapa, você terá adquirido habilidades essenciais em pipelines de dados, colaboração com o GitHub e técnicas de ETL, tudo isso reforçado com práticas e exemplos concretos.

  4. 4 Conhecendo ferramentas de Big Data

    Neste quarto passo, você mergulhará no mundo da orquestração de pipelines de dados, um componente fundamental na engenharia de dados. Iniciaremos com um artigo detalhado sobre o Apache Airflow, uma ferramenta líder na orquestração de pipelines. O foco será em entender como o Airflow utiliza as DAGs (Directed Acyclic Graphs) para gerenciar complexas sequências de tarefas. Este conhecimento será a chave para dominar o funcionamento interno do Airflow.

    Após absorver os conceitos do artigo, você avançará para um curso prático. Aqui, o desafio será extrair dados climáticos usando uma API, empregando o Apache Airflow. Você não apenas aprenderá sobre DAGs, mas também sobre Tasks e Operadores, aplicando esses conceitos em um projeto prático e envolvente. Esse projeto não só solidificará seu entendimento, mas também servirá como um excelente item de portfólio, demonstrando suas habilidades recém-adquiridas.

    Ao concluir esta fase, você terá não apenas uma compreensão sólida dos pipelines de dados, mas também prática hands-on com uma das ferramentas mais demandadas do mercado. Isso te capacitará a construir seus próprios pipelines de dados de forma eficiente e inovadora.

    • Artigo Airflow - Entendendo os DAGs

    • Curso Apache Airflow: orquestrando seu primeiro pipeline de dados

      08h
      • Aprenda a extrair dados climáticos utilizando uma API
      • Entenda o que é o Apache Airflow e como utilizá-lo
      • Descubra o que são DAGs, Taks e Operators
      • Conheça os principais componentes da arquitetura do Airflow
      • Saiba quais são os principais recursos da interface do Airflow
      • Desenvolva seu primeiro DAG

Escola

Data Science

Além dessa, a categoria Data Science conta com cursos de Ciência de dados, BI, SQL e Banco de Dados, Excel, Machine Learning, NoSQL, Estatística,e mais...

Conheça a Escola

Comece hoje mesmo os cursos de Primeiros passos com Engenharia de Dados. Matricule-se agora!

Plus

De
R$ 1.800
12X
R$109
à vista R$1.308
  • Acesso a TODOS os cursos da Alura

    Mais de 1500 cursos completamente atualizados, com novos lançamentos todas as semanas, emProgramação, Front-end, UX & Design, Data Science, Mobile, DevOps e Inovação & Gestão.

  • Alura Challenges

    Desafios temáticos para você turbinar seu portfólio. Você aprende na prática, com exercícios e projetos que simulam o dia a dia profissional.

  • Alura Cases

    Webséries exclusivas com discussões avançadas sobre arquitetura de sistemas com profissionais de grandes corporações e startups.

  • Certificado

    Emitimos certificados para atestar que você finalizou nossos cursos e formações.

Matricule-se

Pro

De
R$ 2.400
12X
R$149
à vista R$1.788
  • Acesso a TODOS os cursos da Alura

    Mais de 1500 cursos completamente atualizados, com novos lançamentos todas as semanas, emProgramação, Front-end, UX & Design, Data Science, Mobile, DevOps e Inovação & Gestão.

  • Alura Challenges

    Desafios temáticos para você turbinar seu portfólio. Você aprende na prática, com exercícios e projetos que simulam o dia a dia profissional.

  • Alura Cases

    Webséries exclusivas com discussões avançadas sobre arquitetura de sistemas com profissionais de grandes corporações e startups.

  • Certificado

    Emitimos certificados para atestar que você finalizou nossos cursos e formações.

  • Luri powered by ChatGPT

    Luri é nossa inteligência artificial que tira dúvidas, dá exemplos práticos e ajuda a mergulhar ainda mais durante as aulas. Você pode conversar com Luri até 100 mensagens por semana.

  • Alura Língua (incluindo curso Inglês para Devs)

    Estude a língua inglesa com um curso 100% focado em tecnologia e expanda seus horizontes profissionais.

Matricule-se
Conheça os Planos para Empresas

Acesso completo
durante 1 ano

Estude 24h/dia
onde e quando quiser

Novos cursos
todas as semanas