Tá acabando!

Compre agora com desconto
Corra enquanto há tempo!

dias

:

horas

:

minutos

:

segundos

O que faz uma pessoa Engenheira de Dados?

Maria Gabriela Oliva
Maria Gabriela Oliva

Compartilhe

alt text: Desenho do teclado de um notebook, dois servidores de redes e um servidor de dados. Ao lado esquerdo do teclado temos o desenho de uma pessoa de costas, em pé e segurando um fio do teclado com as duas mãos acima da cabeça. Este fio conecta o teclado a um servidor de redes. Ao lado do servidor de dados temos uma outra pessoa em pé com a mão esquerda apoiada no servidor e a direita segurando uma pasta. A terceira pessoa está sentada em cima do servidor de redes com um notebook apoiado nas pernas. Atrás dessa pessoa, há uma nuvem azul com uma seta apontada para cima no centro do desenho. Essa nuvem está conectada ao servidor de redes por dois cabos que, por sua vez, conecta-se ao teclado por um outro cabo. As três pessoas usam calça amarela e camisa roxa. Temos dois gráficos com barras de diferentes tamanhos nas cores roxo, rosa e amarelo, sendo um ao lado direito e o outro atrás do servidor de redes. Há um terceiro gráfico de rosca, nas cores roxo, amarelo e rosa, ao lado esquerdo do servidor de redes. À frente do teclado temos o ícone de um envelope na cor amarela. No canto superior direito do envelope temos um círculo na cor rosa com o número cinco na cor branca dentro dele. A nuvem, os cabos e os servidores de dados e de redes apresentam tons de azul escuro e claro.

A Ciência de Dados tem conquistado um grande espaço no mercado de trabalho e a demanda de profissionais é crescente. Com o avanço da tecnologia, muitos dados vêm sendo produzidos e a maioria das pessoas gestoras parece não ter noção de que esses dados podem ajudar a alavancar as vendas e destacar a empresa da concorrência. Aqui entra a pessoa engenheira de dados.

Neste artigo, vamos acompanhar o que é a Engenharia de Dados, o que faz uma pessoa engenheira de dados e quais as soft skills e hard skills necessárias para atuar nessa área.

O que é Engenharia de Dados?

Engenharia de Dados envolve coletar, armazenar e distribuir os dados. Ela também é responsável por criar todo um pipeline, mantê-lo em execução e transformar os dados brutos em um formato útil para análise. Isso requer conhecimento técnico e habilidade de comunicação para entender os objetivos da empresa ou do cliente.

alt text: Gif de uma mulher loira pensativa (meme da personagem Nazaré Tedesco da novela “Senhora do Destino”). No lado esquerdo aparecem algumas fórmulas matemáticas, como a área do triângulo, seno e cosseno.

O que faz uma pessoa Engenheira de Dados?

A pessoa engenheira de dados é responsável ​​por encontrar tendências nos conjuntos de dados e desenvolver algoritmos para ajudar a tornar os dados brutos em informações úteis para a empresa e cientistas de dados.

É exigido um profundo conhecimento de modelagem de banco de dados relacionais e não relacionais, linguagens de programação e habilidades de comunicação.

alt text: Gif com um gato de patas e focinho na cor branca e parte da cabeça e orelhas na cor cinza. O gato usa óculos de grau na cor preta, com lentes redondas e gravata borboleta estampada. Ele está miando e olhando para a tela de um notebook que está apoiado sobre uma mesa.

A principal função é a construção de reservatórios de dados, conhecidos como data warehouses e data lakes. A engenharia de dados trabalha em backoffice para descomplicar a vida de cientistas de dados e tem, como sua principal importância, a promoção da cultura de dados dentro de uma empresa. Afinal, essa área é responsável pela disponibilização dos dados.

alt text: Gif com o desenho de uma tartaruga azul com colete laranja, botas amarelas e touca vermelha. Ela está sentada em uma pedra na beira de um lago, usando uma vara de pescar para retirar pequenos blocos dele. Os blocos caem dentro de uma cesta laranja que está do lado esquerdo da tartaruga. Ao lado do cesto temos uma placa azul onde está escrito, com letras amarelas. “lake data”, em português “lago de dados”. Ao fundo temos o desenho de algumas montanhas e algumas nuvens em um céu azul claro.

Segundo Jeronymo Marcondes, professor na USP/Esalq, a pandemia de Covid-19 foi um bom exemplo da importância da engenharia de dados. Em entrevista, ele afirmou que “muita gente foi para o home office e necessitou que os dados a serem utilizados por uma empresa estivessem disponíveis a distância”.

Refletindo sobre isso, podemos levantar alguns questionamentos, tais como: Como garantir bancos de dados eficientes para cientistas de dados? Como garantir que os dados a serem utilizados por funcionários(as) e pelas aplicações mantenham sua eficiência na consulta?

Funções

Há três funções principais que pessoas engenheiras de dados podem exercer:

  • Generalista: desempenhada em pequenas equipes ou em pequenas empresas. Generalistas são responsáveis ​​por cada etapa do processo de dados, desde gerenciar dados a analisá-los. Este é um bom papel para cientistas de dados que desejam migrar para a Engenharia de Dados.

  • Centrada no pipeline: realizada em empresas de médio porte. Nesta função, as pessoas engenheiras de dados trabalham em conjunto com cientistas de dados para ajudar a usar os dados coletados. Isso implica um conhecimento aprofundado de sistemas distribuídos e ciência da computação.

  • Baseada em banco de dados: é comum em organizações maiores, onde o gerenciamento do fluxo de dados é um trabalho em tempo integral. Nelas, as pessoas engenheiras de dados se concentram em bancos de dados analíticos que envolvem trabalhos com ETL (com exceção a parte de tratamento), data warehouses e são responsáveis ​​pelo desenvolvimento de esquemas de tabelas.

Responsabilidades

Algumas das responsabilidades mais comuns de uma pessoa engenheira de dados:

  • Arquitetar sistemas distribuídos.
  • Criar pipelines confiáveis.
  • Combinar fontes de dados.
  • Criar a arquitetura de soluções.
  • Identificar maneiras de melhorar a confiabilidade, a eficiência e a qualidade dos dados.

Beleza! Isso tudo é muito legal de fazer. Mas o que é necessário aprender para entrar na área de Engenharia de Dados? Vamos conferir abaixo:

alt text: Gif mostrando duas cenas: na primeira temos  um garoto loiro com camisa azul claro com ar de satisfeito enquanto mexe em um computador de mesa e balança a cabeça em sinal positivo. Ao fundo, temos uma menina utilizando um outro computador de mesa. Ela tem cabelos pretos, está com a mão esquerda no rosto e está de costas para o garoto. Ambos estão sentados, cada um de frente para o seu computador. Na cena seguinte, temos apenas o garoto olhando para a câmera e fazendo o sinal de joinha.

Habilidades

Hard Skills

Ferramentas como Hadoop e Spark e linguagens como Scala, Java e Python são muito importantes. Além delas, é preciso conhecer vários frameworks, bancos de dados e serviços cloud. Tais como:

  • Google Big Query
  • Kafka
  • MongoDB
  • MySQL
  • Cassandra
  • Storm
  • Neo4j
  • AWS Kinesis
  • AWS RDS, entre outras.

Não é necessário dominar todas essas ferramentas. O importante é ter conhecimento geral a respeito delas que permita escolher qual a mais adequada para solucionar o problema.

Soft Skills

Nesse ponto, destacamos a habilidade de comunicação, com objetivo de entender o que líderes de negócios desejam extrair dos dados. Também precisamos de conhecimento da regra de negócio da empresa, entre outras habilidades, como:

  • Adaptabilidade: capacidade de se adaptar à mudanças, sejam de processos ou ferramentas.
  • Pensamento criativo: modo como se encara os problemas e a importância de ter soluções criativas.
  • Negociação: habilidade de saber se comunicar, seja para negociar prazos ou até mesmo vendas de serviços.
  • Trabalho em equipe: relacionado a estimular as competências coletivas e delegar tarefas em prol do bom resultado.
  • Inteligência emocional: saber lidar com situações de estresse e grande pressão.

Caso queira saber mais sobre soft skills, recomendo a leitura deste artigo: Soft Skills mais importantes para a área de dados.

Quer mais?

Uma dica final: se você se interessou pela Engenharia de Dados, temos a formação perfeita para você: Iniciando com Engenharia de Dados. Nela você vai aprender a base de programação com Python, conceitos de Big Data e muito mais!

Maria Gabriela Oliva
Maria Gabriela Oliva

Maria é formada em Sistemas para Internet, apaixonada por tecnologia, dados e gatos. Atuou na área de infra e desenvolvimento. Atualmente é especialista em SQL, com conhecimento nos bancos de dados mais utilizados atualmente e um pézinho em BI, onde tem se desenvolvido tecnicamente.

Veja outros artigos sobre Data Science