Governança de dados: Master Data Management

Introdução à Gestão de Dados Mestres - Apresentação

Apresentando o curso e o instrutor

Boas-vindas ao curso de gestão de dados mestres da Alura. Meu nome é Pedro Henrique Campagna Moura da Silva e serei o instrutor deste curso, que se aprofundará em uma das sub-disciplinas da governança de dados. Neste curso, vamos aprender sobre Master Data Management, sim, Master Data Management, e um problema significativo que enfrentamos devido a erros nos dados sobre os clientes.

Explorando a definição e problemas dos dados mestres

Vamos aprender sobre a definição de dados mestres, explorando as relações entre o negócio e os sistemas que abrangem dados na organização. Identificaremos problemas nessa base de clientes e entenderemos, a partir de técnicas e ferramentas específicas de dados mestres, como podemos melhorar essa situação. Nosso objetivo é criar uma iniciativa para garantir que os dados de clientes sejam confiáveis para todas as pessoas da organização.

Utilizando abordagens e técnicas para melhorar a qualidade dos dados

Para isso, utilizaremos diversas abordagens. Definiremos um plano de ação, compreenderemos com o negócio o que ocorre e de quem é a responsabilidade de integrar os dados em cada sistema. Trabalharemos com problemas de dados, como dados faltantes, duplicados, inválidos e não confiáveis.

Abordando dados de referência e enriquecimento de bases

Também abordaremos dados de referência, um ponto crucial quando pensamos em dados mestres. Enriqueceremos uma base do IBGE para que ela nos auxilie em nosso trabalho com dados mestres.

Concluindo a introdução ao curso

Este é apenas o começo. Esperamos que apreciem este curso, no qual aprenderemos cada vez mais sobre essa subdisciplina, que possui um mercado muito interessante e detalhado de gestão de dados mestres. Vamos em frente e aprender mais sobre dados mestres.

Introdução à Gestão de Dados Mestres - Conhecendo o cenário

Apresentando o caso de estudo

Boas-vindas! Nós acabamos de ser contratados por uma grande empresa de laticínios do Brasil para entender o que ocorreu em uma situação específica. Vou contar essa história, pois é interessante. Um caminhão carregado com duas toneladas de leite deveria entregar esses produtos no mercadinho do Seu Zé, localizado no Rio de Janeiro. No entanto, o caminhão acabou parando no Piauí, o que resultou no estrago do leite e em um prejuízo de quase 100 mil reais. Preocupada com essa situação, a empresa contratou nossa consultoria de dados para realizar uma auditoria no processo, identificar as causas e propor soluções para evitar que isso ocorra novamente, seja por meio da implementação de novas ferramentas, processos ou políticas.

Dessa forma, damos as boas-vindas ao nosso curso de Governança de Dados: Master Data Management. Antes de aprofundarmos no assunto, é importante fornecer mais contexto sobre o negócio, para que possamos ter uma visão clara de por onde começar. Essa empresa de laticínios começou como um negócio quase familiar e, à medida que cresceu, adquiriu outras empresas. Atualmente, é proprietária de várias fábricas de leite, queijo e iogurte em diversas regiões do país. É a partir desse ponto que trabalhamos.

Contextualizando o modelo de negócios

Além disso, essa empresa se diferencia de outras por operar exclusivamente no modelo B2B (business to business, ou negócio para negócio). Isso significa que seus clientes não são consumidores finais, mas sim mercados, restaurantes e mercearias em todo o Brasil.

Agora que temos mais contexto, não se preocupe, pois já iniciamos o trabalho. Começamos entrevistando várias pessoas de diferentes equipes da companhia para entender o processo, desde o momento em que um cliente faz um pedido até a entrega do leite no mercadinho do Seu Zé. Para isso, realizamos um mapeamento do processo, que gostaria de apresentar em detalhes.

Mapeando o processo de entrega

Aqui está o nosso processo. A ideia é explicar, parte por parte, o que acontece desde o momento do pedido até a entrega do leite no local correto, como esperamos.

A primeira fase do processo é de responsabilidade do time de vendas, que recebe o pedido. A partir desse momento, é necessário realizar várias validações com os dados das empresas que estão no sistema logístico. Se a empresa já existir, verificamos se há necessidade de atualização desses dados para garantir que a entrega não seja feita no local errado. Caso a empresa ainda não esteja cadastrada no sistema financeiro, o time financeiro é responsável por registrá-la. Isso ocorre porque, ao cadastrar uma nova empresa, o time financeiro realiza uma qualificação para assegurar que a empresa é idônea, não possui problemas judiciais e que o CNPJ está correto.

Detalhando as fases do processo

Uma vez que garantimos que os dados estão corretos, o time financeiro aguarda a confirmação do pagamento. Após a confirmação do pagamento e a verificação dos dados, passamos para a próxima fase, que é de responsabilidade do time de logística. O time de logística verifica no sistema se todos os artigos solicitados estão disponíveis nos armazéns. Se estiverem disponíveis, o envio para o cliente é realizado. Caso contrário, entramos em contato com o setor e o sistema de operações para solicitar a produção dos itens, como leite e queijos. Esperamos até que esses artigos sejam produzidos, informamos o time de logística, e eles podem realizar a entrega dos materiais.

Temos quatro times principais: o time de vendas, o time financeiro, o time de logística e o time de operações. Além disso, contamos com três sistemas: o sistema financeiro, o sistema de logística e o sistema de operações. Esses elementos trabalham em conjunto para garantir a entrega dos produtos com a maior velocidade e eficiência possíveis.

Explorando soluções para problemas

Agora que conhecemos melhor esse processo, desde o momento do pedido até a entrega do leite na empresa, podemos procurar as origens dos problemas. Na próxima aula, exploraremos mais o conceito de dados mestres e como ele pode nos ajudar a identificar esse tipo de problema na empresa.

Introdução à Gestão de Dados Mestres - Entendendo o conceito de dados mestres

Relembrando o contexto de negócio

Na última aula, conhecemos melhor o contexto de negócio com o qual vamos trabalhar. Relembrando, nós somos trabalhadores de uma consultoria especializada em dados, contratada por uma grande empresa de laticínios devido a um problema significativo. Um caminhão carregado com duas toneladas de leite entregou a mercadoria no estado errado, gerando um grande prejuízo para a empresa.

Na última aula, entendemos melhor esse contexto de negócio e como a empresa processa os pedidos, desde o momento em que são recebidos pelo time de vendas até chegarem ao consumidor. Hoje, vamos discutir como podemos usar dados para resolver esse problema. Para isso, é importante introduzirmos um tópico principal para este curso: o conceito de dados mestres.

Introduzindo o conceito de dados mestres

O que seriam dados mestres? Como podemos identificá-los e trabalhar com eles? De forma simples e genérica, dados mestres são aqueles mais importantes para o contexto de uma empresa. Eles podem variar bastante, pois dependem da empresa com a qual estamos trabalhando. No cenário que vimos, onde produtos e clientes são extremamente importantes, esses podem ser considerados dados mestres, desde que sejam cruciais para a empresa e utilizados por vários processos e diferentes entidades do negócio.

Se voltarmos ao nosso desenho comentado na última aula, podemos ver que dados de clientes são usados por diversos times, como vendas, financeiro e logística. Todos consomem esses dados de alguma forma, e, portanto, esses dados podem ser promovidos a dados mestres. Digo promovidos porque dados mestres, como conceito, são mais fáceis de identificar do que definir. Podemos tratá-los como uma abordagem para cuidar com mais atenção dos dados principais de uma empresa.

Definindo e exemplificando dados mestres

A definição de dados mestres que prefiro entende que a gestão desses dados é uma abordagem caracterizada por focarmos nos dados mais importantes para a empresa e realizarmos ações de gestão para garantir que estejam sempre corretos e confiáveis. No mercado de dados, isso é chamado de Golden Source (fonte dourada) ou Source of Truth (fonte da verdade) sobre determinado dado.

Voltando ao aspecto anterior, os dados mestres das organizações diferem de empresa para empresa. Por exemplo, em um banco, os dados dos clientes são extremamente importantes e tratados como dados mestres. No mercado de petróleo e gás, em uma empresa responsável por operar barcos que extraem petróleo do fundo do mar, as embarcações são dados mestres, pois é necessário saber o peso e quantas pessoas estão a bordo.

Variabilidade dos dados mestres conforme o contexto

Para empresas que trabalham com muitos contratados ou fornecedores externos, ter um local para armazenar e gerenciar essas informações de forma coerente e precisa é essencial. Isso ilustra que os dados mestres variam conforme o contexto de negócio. Clássicos exemplos de dados mestres são produtos e clientes, mas em contextos específicos, outras informações podem assumir esse papel.

Em empresas automotivas que vendem peças de carro, as próprias peças podem ser dados mestres, pois é necessário garantir que cada peça seja enviada corretamente. Empresas focadas em logística podem considerar pacotes ou rotas como dados mestres.

Importância da gestão de dados mestres

Em geral, a definição de dados mestres refere-se aos dados mais importantes para a empresa. No entanto, não basta apenas identificá-los como importantes para que sejam considerados dados mestres. É essencial entender o contexto e tratar esses dados com um cuidado especial, garantindo processos que assegurem sua confiabilidade para que toda a empresa possa utilizá-los sem problemas.

Agora que discutimos em detalhes o que são dados mestres, é importante entender por que fazemos a gestão desses dados. Um problema clássico, que já observamos, ocorre quando diferentes áreas de uma empresa têm números divergentes sobre a quantidade de clientes. Por exemplo, em uma empresa, a área comercial pode afirmar que há 100 clientes, enquanto a área de vendas, responsável por fechar contratos, pode dizer que são 150 clientes. Essa discrepância ocorre porque cada área pode estar considerando dados diferentes.

Benefícios da gestão de dados mestres

Os objetivos da gestão de dados mestres incluem diminuir erros relacionados a registros importantes, eliminar redundâncias, garantir precisão e, principalmente, unicidade. Por exemplo, é comum que uma empresa tenha dois registros para o mesmo cliente devido a informações diferentes, como nomes variados. Um cliente pode ser registrado como Pedro Silva e também como Pedro Henrique Silva, ambos com o mesmo e-mail, mas sem um processo definido para garantir precisão, resultando em dois registros para o mesmo cliente.

Além disso, um processo de dados mestres reduz os custos operacionais, pois, com uma visão harmonizada e precisa dos dados, a responsabilidade de tratá-los fica com a área de negócio responsável, ou até mesmo com a área de dados mestres. Isso evita que diferentes partes da organização precisem se preocupar com erros nos dados.

Criando uma fonte confiável de dados

A partir de uma iniciativa de dados mestres, criamos uma golden source (fonte confiável) dos dados mais cruciais da empresa, ganhando eficiência nos processos que utilizam esses dados. Além disso, evitamos o uso incorreto dos dados operacionalmente. Um exemplo clássico é quando empresas de CRM enviam ofertas ou cartões errados devido a bases de dados problemáticas, causando custos adicionais e danos à imagem da marca.

Agora, com uma melhor compreensão sobre dados mestres, podemos começar a trabalhar com os dados na prática. É isso que faremos na próxima aula.

Sobre o curso Governança de dados: Master Data Management

O curso Governança de dados: Master Data Management possui 180 minutos de vídeos, em um total de 48 atividades. Gostou? Conheça nossos outros cursos de Governança de Dados em Data Science, ou leia nossos artigos de Data Science.

Matricule-se e comece a estudar com a gente hoje! Conheça outros tópicos abordados durante o curso:

• Introdução à Gestão de Dados Mestres
• Gestão de Dados Mestres
• Fuzzy Match
• Refinando Dados Mestres
• Evoluindo em Dados Mestres