Governança de dados: Enterprise Data Standards

Padrões Organizacionais de Dados - Apresentação

Apresentando o instrutor e o curso

Olá! Meu nome é Pedro Henrique Campagna Moura da Silva e serei o instrutor neste curso de Padrões Organizacionais de Dados, ou Enterprise Data Standards.

Introduzindo os padrões de dados empresariais

Vamos entender melhor o que são os Padrões de Dados Empresariais e por que são tão importantes para garantir uma boa cultura de dados dentro de uma organização. Vamos identificar os diferentes tipos de Padrões de Dados, que são três: os Technical Data Standards (Padrões de Dados Técnicos), os Padrões de Negócio e aqueles que são especiais, com maior complexidade e risco associado.

Explorando as relações entre padrões de dados

Além disso, discutiremos amplamente as relações entre Padrões de Dados, Dados de Referência e Dados Mestres. Também abordaremos um conceito extremamente importante para todas essas relações e para a implementação dos Padrões de Dados, que é o Comitê de Dados, ou Data Council em inglês.

Implementando padrões de dados na prática

Faremos, passo a passo, a implementação teórica e com exemplos reais de como realizar a implementação de um Padrão de Dados dentro de uma organização ou de uma série de organizações. Esperamos que gostem e vamos aprender juntos.

Padrões Organizacionais de Dados - A empresa que cresceu rápido demais

Apresentando o curso de padrões organizacionais de dados

Olá e bem-vindo ao nosso curso de Padrões Organizacionais de Dados, ou Enterprise Data Standards. Este é um curso de nível intermediário a avançado dentro da nossa trilha de governança de dados. Por isso, recomendamos que se tenha algum conhecimento prévio, seja do mercado ou de outros cursos da nossa plataforma sobre o tema.

Agora, gostaríamos de passar ao curso e ao nosso tema, mas, para isso, precisamos conhecer a empresa que cresceu sem padrões. Esta empresa é uma distribuidora de mídia. O que queremos dizer com distribuição de mídia? Esta empresa trabalha com fotografias e vídeos de pessoas e organizações. A ideia é vender esses vídeos para outras empresas quando precisarem usá-los em treinamentos ou vídeos promocionais.

Descrevendo o crescimento e a expansão da empresa

A empresa com a qual estamos trabalhando começou como uma startup no Brasil em 2019 e se consolidou rapidamente. Já em 2020, conseguiu captar um investimento anjo significativo. A empresa cresceu consideravelmente e se consolidou no Brasil de forma muito rápida. Entre 2020 e 2024, a empresa cresceu bastante, começando a explorar novos mercados, especialmente na África, Ásia e Europa. Isso ocorreu porque, como uma empresa de mídia sediada no Brasil, apostou fortemente na diversidade das pessoas que cobria. Havia uma grande diversidade de pessoas, o que atraiu esses outros mercados. Além disso, o Brasil não possui um único fenótipo, apresentando uma variedade muito grande dentro deste país tão vasto e diverso. Esse foi o diferencial no mercado que permitiu à empresa expandir-se na Europa, África e Ásia.

Enumerando os problemas enfrentados pela empresa

No entanto, esse crescimento acelerado também trouxe alguns problemas, que gostaríamos de enumerar. O início dos problemas ocorreu quando perdemos um contrato estatal na Ásia devido a um erro no nome oficial do país. Nas comunicações, deveríamos ter nos referido ao país de uma forma mais formal e técnica. Por exemplo, no Brasil, não diríamos simplesmente Brasil, mas sim República Federativa do Brasil. Esse tom inadequado nos levou a perder o contrato.

Também enfrentamos outro problema em um país africano que havia acabado de mudar de moeda, assim como o Brasil mudou do Cruzeiro para o Cruzado, do Cruzado para o Cruzado Novo, do Cruzado Novo para o Real, e assim por diante.

Analisando as falhas nos sistemas de dados

Houve uma mudança recente em um país africano e, devido a essa mudança, nossos sistemas foram afetados, resultando em um período sem pagamento para as pessoas que trabalhavam conosco, o que foi bastante grave. Além disso, também enfrentamos uma falha em sistemas que utilizavam o formato de data mês/dia/ano, em vez de dia/mês/ano, que é o mais usado aqui na organização.

A ideia que devemos considerar, especialmente para este curso, é tentar entender a relação entre esses três problemas, principalmente quando levamos em conta o histórico desta empresa, que cresceu rapidamente e começou a operar em diversos mercados e países diferentes. Podemos entender que, quando ocorre um erro no nome oficial do país, um erro na moeda que esse país utiliza ou quando há uma nova moeda, além da falha no formato de data, temos basicamente um problema de dados. Isso se refere a um problema de informação e está relacionado ao padrão da informação.

Destacando a importância dos padrões organizacionais

Então, qual é o padrão esperado da informação? No primeiro ponto, era um nome mais formal e pomposo do país. No caso dos pagamentos atrasados, tínhamos um padrão extremamente importante, que era garantir que nossos dados refletissem a moeda mais atualizada desse país. Pode-se argumentar que "isso é um erro que pode ocorrer", pois não é comum que os países mudem de moeda. Ainda assim, devemos construir sistemas de dados resilientes o suficiente para lidar com essas questões.

Pensar nesse tipo de questão é crucial quando trabalhamos com sistemas de dados mais resilientes. O último exemplo ilustra bem que, dentro desta empresa, de forma recorrente, enfrentamos um problema de padrões. Portanto, padrões organizacionais precisam ser estabelecidos, documentados e comunicados para garantir que, tanto no nível de dados quanto no organizacional, todos compreendam qual é o padrão utilizado para data, moeda, nome do país, etc.

Introduzindo o conteúdo do curso

É exatamente isso que vamos aprender durante este curso. Para falar mais sobre padrões organizacionais de dados, ou Enterprise Data Standards (padrões de dados empresariais), abordaremos isso no próximo vídeo.

Padrões Organizacionais de Dados - O conceito de padrões organizacionais de dados

Discutindo o cenário do curso

Na última aula, discutimos o cenário ao qual estaremos expostos durante este curso. Somos representantes de uma empresa de mídia que vende seus produtos para diversos mercados, como Brasil, África, Europa e Ásia. A empresa começou a crescer de forma acelerada, conquistando esses mercados rapidamente, o que é muito positivo. No entanto, esse crescimento trouxe alguns problemas.

Por exemplo, enfrentamos dificuldades para garantir o cumprimento de certos padrões esperados, seja no trato com um organismo estatal pelo nome oficial de um país, ou em situações em que a moeda de um país africano onde atuamos foi alterada, dificultando a realização de pagamentos. Além disso, um sistema falhou porque esperava uma data no formato ano, mês, dia, mas recebeu de forma diferente. Todas essas questões se tornam mais relevantes quando atendemos em vários países, pois também envolvem diferenças culturais.

Explicando a importância dos padrões organizacionais de dados

Por isso, dentro desse tipo de organização, os padrões organizacionais de dados, ou Enterprise Data Standards, são extremamente importantes. Para entender melhor o que são esses padrões, apresentamos uma definição clara: os padrões organizacionais de dados são acordos claros sobre como os dados de um tema específico serão tratados dentro de uma organização ou grupo de organizações.

Traduzindo isso de forma mais clara e com exemplos, a primeira parte é simples: são acordos claros sobre um tema específico que regerão a organização. Por exemplo, poderíamos resolver o problema do formato das datas definindo que todas as datas dentro da organização devem estar em um formato específico.

Abordando desafios e implementação dos padrões

Obviamente, teremos algumas peculiaridades, pois alguns sistemas já virão predefinidos com outro formato de data. No entanto, o que podemos fazer, se pensarmos a partir da perspectiva de dados dessa organização, é tentar sempre aplicar esse padrão dentro dos dados da nossa organização. Isso garante que todos estejam falando a mesma linguagem ao tratar de determinado tema. Embora pareça simples, é mais desafiador do que aparenta. Estamos aqui precisamente para estudar isso. Não é um tema difícil, mas a implementação dentro das organizações tende a ter várias fricções, e estamos aqui para aprender a navegar por essas dificuldades.

Para consolidar melhor essa ideia sobre o que são os Enterprise Data Standards (Padrões de Dados Empresariais), o que eles devem ser ou o que esperamos que nos proporcionem? Eles devem ser claros e bem definidos, orientar as decisões organizacionais sobre um determinado tema e facilitar a implementação de dados sobre esse tema. Essas três características são muito importantes.

Facilitando a implementação de padrões de dados

Em primeiro lugar, falamos constantemente de clareza e definição, pois é exatamente disso que trata o padrão. Um padrão sempre se aplica a um tema específico, pois assim é muito mais fácil; reduzimos o escopo do trabalho. Além disso, como facilitam a implementação do ponto de vista dos dados? Imaginemos que dentro da nossa organização temos um ambiente analítico e um transacional. No transacional, temos mais dificuldade para garantir, por exemplo, um padrão de data, porque trabalhamos com vários temas diferentes. Mas quando esses dados chegam ao nosso sistema analítico, por exemplo, um Data Lakehouse, podemos estabelecer isso como um padrão. Todo dado que entrar no Data Lakehouse deve, por padrão, vir com ano, mês e dia, por exemplo. Esse foi o padrão que definimos para nossa organização.

Isso facilitará a implementação, pois a pessoa engenheira saberá que a única camada em que terá que fazer essa transformação de dados será quando o dado passar do sistema transacional para o sistema informacional. Depois disso, temos a garantia de que não precisaremos nos preocupar tanto, do ponto de vista da engenharia, se esse dado está no formato correto de data, mês, hora, ano, etc., porque há um padrão que regerá essa implementação para toda a organização.

Concluindo e introduzindo o próximo vídeo

Vamos entender melhor como fazer isso, quais são os desafios dos Enterprise Data Standards e como eles nos ajudam a ganhar escala no próximo vídeo.

Sobre o curso Governança de dados: Enterprise Data Standards

O curso Governança de dados: Enterprise Data Standards possui 104 minutos de vídeos, em um total de 54 atividades. Gostou? Conheça nossos outros cursos de Governança de Dados em Data Science, ou leia nossos artigos de Data Science.

Matricule-se e comece a estudar com a gente hoje! Conheça outros tópicos abordados durante o curso:

• Introdução ao Padrões Organizacionais de Dados
• Tipos de Padrões Organizacionais de Dados
• Desafios dos Padrões Organizacionais de dados
• Padrões Organizacionais Especiais
• Implementando um Padrão Organizacional de Dados