O que faz uma pessoa Engenheira de Dados?

O que faz uma pessoa Engenheira de Dados?
Maria Gabriela Oliva
Maria Gabriela Oliva

Compartilhe

Introdução

A Ciência de Dados tem conquistado um grande espaço no mercado de trabalho e a demanda de profissionais é crescente. Com o avanço da tecnologia, muitos dados vêm sendo produzidos e a maioria das pessoas gestoras parece não ter noção de que esses dados podem ajudar a alavancar as vendas e destacar a empresa da concorrência. Aqui entra a pessoa engenheira de dados.

Neste artigo, vamos acompanhar o que é a Engenharia de Dados, o que faz uma pessoa engenheira de dados e quais as soft skills e hard skills necessárias para atuar nessa área.

Banner da Escola de Data Science: Matricula-se na escola de Data Science. Junte-se a uma comunidade de mais de 500 mil estudantes. Na Alura você tem acesso a todos os cursos em uma única assinatura; tem novos lançamentos a cada semana; desafios práticos. Clique e saiba mais!

O que é Engenharia de Dados?

Engenharia de Dados envolve coletar, armazenar e distribuir os dados. Ela também é responsável por criar todo um pipeline, mantê-lo em execução e transformar os dados brutos em um formato útil para análise. Isso requer conhecimento técnico e habilidade de comunicação para entender os objetivos da empresa ou do cliente.

alt text: Gif de uma mulher loira pensativa (meme da personagem Nazaré Tedesco da novela “Senhora do Destino”). No lado esquerdo aparecem algumas fórmulas matemáticas, como a área do triângulo, seno e cosseno.

O que faz uma pessoa Engenheira de Dados?

A pessoa engenheira de dados é responsável ​​por encontrar tendências nos conjuntos de dados e desenvolver algoritmos para ajudar a tornar os dados brutos em informações úteis para a empresa e cientistas de dados.

É exigido um profundo conhecimento de modelagem de banco de dados relacionais e não relacionais, linguagens de programação e habilidades de comunicação.

alt text: Gif com um gato de patas e focinho na cor branca e parte da cabeça e orelhas na cor cinza. O gato usa óculos de grau na cor preta, com lentes redondas e gravata borboleta estampada. Ele está miando e olhando para a tela de um notebook que está apoiado sobre uma mesa.

A principal função é a construção de reservatórios de dados, conhecidos como data warehouses e data lakes. A engenharia de dados trabalha em backoffice para descomplicar a vida de cientistas de dados e tem, como sua principal importância, a promoção da cultura de dados dentro de uma empresa. Afinal, essa área é responsável pela disponibilização dos dados.

alt text: Gif com o desenho de uma tartaruga azul com colete laranja, botas amarelas e touca vermelha. Ela está sentada em uma pedra na beira de um lago, usando uma vara de pescar para retirar pequenos blocos dele. Os blocos caem dentro de uma cesta laranja que está do lado esquerdo da tartaruga. Ao lado do cesto temos uma placa azul onde está escrito, com letras amarelas. “lake data”, em português “lago de dados”. Ao fundo temos o desenho de algumas montanhas e algumas nuvens em um céu azul claro.

Segundo Jeronymo Marcondes, professor na USP/Esalq, a pandemia de Covid-19 foi um bom exemplo da importância da engenharia de dados. Em entrevista, ele afirmou que “muita gente foi para o home office e necessitou que os dados a serem utilizados por uma empresa estivessem disponíveis a distância”.

Refletindo sobre isso, podemos levantar alguns questionamentos, tais como: Como garantir bancos de dados eficientes para cientistas de dados? Como garantir que os dados a serem utilizados por funcionários(as) e pelas aplicações mantenham sua eficiência na consulta?

Funções

Há três funções principais que pessoas engenheiras de dados podem exercer:

  • Generalista: desempenhada em pequenas equipes ou em pequenas empresas. Generalistas são responsáveis ​​por cada etapa do processo de dados, desde gerenciar dados a analisá-los. Este é um bom papel para cientistas de dados que desejam migrar para a Engenharia de Dados.

  • Centrada no pipeline: realizada em empresas de médio porte. Nesta função, as pessoas engenheiras de dados trabalham em conjunto com cientistas de dados para ajudar a usar os dados coletados. Isso implica um conhecimento aprofundado de sistemas distribuídos e ciência da computação.

  • Baseada em banco de dados: é comum em organizações maiores, onde o gerenciamento do fluxo de dados é um trabalho em tempo integral. Nelas, as pessoas engenheiras de dados se concentram em bancos de dados analíticos que envolvem trabalhos com ETL (com exceção a parte de tratamento), data warehouses e são responsáveis ​​pelo desenvolvimento de esquemas de tabelas.

Responsabilidades

Algumas das responsabilidades mais comuns de uma pessoa engenheira de dados:

  • Arquitetar sistemas distribuídos.
  • Criar pipelines confiáveis.
  • Combinar fontes de dados.
  • Criar a arquitetura de soluções.
  • Identificar maneiras de melhorar a confiabilidade, a eficiência e a qualidade dos dados.

Beleza! Isso tudo é muito legal de fazer. Mas o que é necessário aprender para entrar na área de Engenharia de Dados? Vamos conferir abaixo:

alt text: Gif mostrando duas cenas: na primeira temos  um garoto loiro com camisa azul claro com ar de satisfeito enquanto mexe em um computador de mesa e balança a cabeça em sinal positivo. Ao fundo, temos uma menina utilizando um outro computador de mesa. Ela tem cabelos pretos, está com a mão esquerda no rosto e está de costas para o garoto. Ambos estão sentados, cada um de frente para o seu computador. Na cena seguinte, temos apenas o garoto olhando para a câmera e fazendo o sinal de joinha.

Habilidades

Hard Skills

Ferramentas como Hadoop e Spark e linguagens como Scala, Java e Python são muito importantes. Além delas, é preciso conhecer vários frameworks, bancos de dados e serviços Cloud. Tais como:

  • Google Big Query
  • Kafka
  • MongoDB
  • MySQL
  • Cassandra
  • Storm
  • Neo4j
  • AWS Kinesis
  • AWS RDS, entre outras.

Não é necessário dominar todas essas ferramentas. O importante é ter conhecimento geral a respeito delas que permita escolher qual a mais adequada para solucionar o problema.

Soft Skills

Nesse ponto, destacamos a habilidade de comunicação, com objetivo de entender o que líderes de negócios desejam extrair dos dados. Também precisamos de conhecimento da regra de negócio da empresa, entre outras habilidades, como:

  • Adaptabilidade: capacidade de se adaptar à mudanças, sejam de processos ou ferramentas.
  • Pensamento criativo: modo como se encara os problemas e a importância de ter soluções criativas.
  • Negociação: habilidade de saber se comunicar, seja para negociar prazos ou até mesmo vendas de serviços.
  • Trabalho em equipe: relacionado a estimular as competências coletivas e delegar tarefas em prol do bom resultado.
  • Inteligência emocional: saber lidar com situações de estresse e grande pressão.

Caso queira saber mais sobre soft skills, recomendo a leitura deste artigo: Soft Skills mais importantes para a área de dados.

Quer mais?

Uma dica final: se você se interessou pela Engenharia de Dados, temos a formação perfeita para você: Iniciando com Engenharia de Dados. Nela você vai aprender a base de programação com Python, conceitos de Big Data e muito mais!

Maria Gabriela Oliva
Maria Gabriela Oliva

Oi, eu sou a Maria.Sou graduada em Sistemas para Internet, apaixonada por tecnologia, dados e gatos. Já atuei em algumas áreas antes de vir para área de dados, como: devops e desenvolvimento de software. Atualmente estou na área de dados, com conhecimento em banco de dados, SQL e nas mais variadas ferramentas de Business Intelligence.

Veja outros artigos sobre Data Science