O que faz uma pessoa Engenheira de Dados?

Neste artigo, vamos acompanhar o que é a Engenharia de Dados, o que faz uma pessoa engenheira de dados e quais as soft skills e hard skills necessárias para atuar nessa área.

O que é Engenharia de Dados?

Engenharia de Dados envolve coletar, armazenar e distribuir os dados. Ela também é responsável por criar todo um pipeline, mantê-lo em execução e transformar os dados brutos em um formato útil para análise. Isso requer conhecimento técnico e habilidade de comunicação para entender os objetivos da empresa ou do cliente.

O que faz uma pessoa Engenheira de Dados?

A pessoa engenheira de dados é responsável ​​por encontrar tendências nos conjuntos de dados e desenvolver algoritmos para ajudar a tornar os dados brutos em informações úteis para a empresa e cientistas de dados.

É exigido um profundo conhecimento de modelagem de banco de dados relacionais e não relacionais, linguagens de programação e habilidades de comunicação.

A principal função é a construção de reservatórios de dados, conhecidos como data warehouses e data lakes. A engenharia de dados trabalha em backoffice para descomplicar a vida de cientistas de dados e tem, como sua principal importância, a promoção da cultura de dados dentro de uma empresa. Afinal, essa área é responsável pela disponibilização dos dados.

Segundo Jeronymo Marcondes, professor na USP/Esalq, a pandemia de Covid-19 foi um bom exemplo da importância da engenharia de dados. Em entrevista, ele afirmou que “muita gente foi para o home office e necessitou que os dados a serem utilizados por uma empresa estivessem disponíveis a distância”.

Refletindo sobre isso, podemos levantar alguns questionamentos, tais como: Como garantir bancos de dados eficientes para cientistas de dados? Como garantir que os dados a serem utilizados por funcionários(as) e pelas aplicações mantenham sua eficiência na consulta?

Funções

Há três funções principais que pessoas engenheiras de dados podem exercer:

• Generalista: desempenhada em pequenas equipes ou em pequenas empresas. Generalistas são responsáveis ​​por cada etapa do processo de dados, desde gerenciar dados a analisá-los. Este é um bom papel para cientistas de dados que desejam migrar para a Engenharia de Dados.

• Centrada no pipeline: realizada em empresas de médio porte. Nesta função, as pessoas engenheiras de dados trabalham em conjunto com cientistas de dados para ajudar a usar os dados coletados. Isso implica um conhecimento aprofundado de sistemas distribuídos e ciência da computação.

• Baseada em banco de dados: é comum em organizações maiores, onde o gerenciamento do fluxo de dados é um trabalho em tempo integral. Nelas, as pessoas engenheiras de dados se concentram em bancos de dados analíticos que envolvem trabalhos com ETL (com exceção a parte de tratamento), data warehouses e são responsáveis ​​pelo desenvolvimento de esquemas de tabelas.

Responsabilidades

Algumas das responsabilidades mais comuns de uma pessoa engenheira de dados:

• Arquitetar sistemas distribuídos.
• Criar pipelines confiáveis.
• Combinar fontes de dados.
• Criar a arquitetura de soluções.
• Identificar maneiras de melhorar a confiabilidade, a eficiência e a qualidade dos dados.

Beleza! Isso tudo é muito legal de fazer. Mas o que é necessário aprender para entrar na área de Engenharia de Dados? Vamos conferir abaixo:

Habilidades

Hard Skills

Ferramentas como Hadoop e Spark e linguagens como Scala, Java e Python são muito importantes. Além delas, é preciso conhecer vários frameworks, bancos de dados e serviços Cloud. Tais como:

• Google Big Query
• Kafka
• MongoDB
• MySQL
• Cassandra
• Storm
• Neo4j
• AWS Kinesis
• AWS RDS, entre outras.

Não é necessário dominar todas essas ferramentas. O importante é ter conhecimento geral a respeito delas que permita escolher qual a mais adequada para solucionar o problema.

Soft Skills

Nesse ponto, destacamos a habilidade de comunicação, com objetivo de entender o que líderes de negócios desejam extrair dos dados. Também precisamos de conhecimento da regra de negócio da empresa, entre outras habilidades, como:

• Adaptabilidade: capacidade de se adaptar à mudanças, sejam de processos ou ferramentas.
• Pensamento criativo: modo como se encara os problemas e a importância de ter soluções criativas.
• Negociação: habilidade de saber se comunicar, seja para negociar prazos ou até mesmo vendas de serviços.
• Trabalho em equipe: relacionado a estimular as competências coletivas e delegar tarefas em prol do bom resultado.
• Inteligência emocional: saber lidar com situações de estresse e grande pressão.

Caso queira saber mais sobre soft skills, recomendo a leitura deste artigo: Soft Skills mais importantes para a área de dados.

Quer mais?

Uma dica final: se você se interessou pela Engenharia de Dados, temos a formação perfeita para você: Iniciando com Engenharia de Dados. Nela você vai aprender a base de programação com Python, conceitos de Big Data e muito mais!