Apresentando o ciclo de vida dos dados na nuvem
Olá, seja muito bem-vinde. Vamos dar sequência à nossa conversa sobre governança de dados em ambientes de cloud (nuvem). Agora, vamos abordar o ciclo de vida dos dados.
Um dos conceitos fundamentais da governança de dados é que os dados não permanecem estáticos. Eles nascem, são transformados, são compartilhados, são utilizados por diferentes processos e, em algum momento, precisam ser arquivados e eliminados. Chamamos isso de ciclo de vida dos dados. Eles nascem, são transformados, são utilizados, enriquecem outros dados e, em determinado momento, precisam ser descartados.
Compreender esse ciclo de vida permite identificar os riscos, as responsabilidades e os controles necessários para cada etapa. Em essência, é isso que a área de governança realiza: acompanha o dado desde o seu nascimento até o seu descarte.
Em ambientes de cloud (nuvem), esse ciclo se torna ainda mais dinâmico, porque a movimentação dos dados ocorre em diversos serviços. Dados nascem a todo momento, são tratados, consumidos e compartilhados continuamente. É isso que a cloud (nuvem) proporciona para nós. Foi o que nós comentamos no vídeo anterior: a ampliação da utilização e da movimentação do dado dentro da empresa. É o que acontece com os processos que vivenciamos no dia a dia, com IA, entre outros.
Detalhando a origem e a qualidade dos dados
Todo dado possui uma origem. Ele pode ser criado em sistemas corporativos, aplicativos móveis, portais digitais, integrações entre empresas ou dispositivos conectados. Cada um nasce de um modo específico. A qualidade da informação começa nesse momento. Dados incompletos, incorretos ou inconsistentes geram impactos que se propagam ao longo de todo o ciclo de vida. Por isso, a governança de dados precisa acompanhar desde o nascimento, garantindo que os dados já surjam com qualidade e não prejudiquem os processos que deles dependem.
A governança deve estabelecer padrões desde a captura, passando pela validação e identificação dos dados, desde a origem, desde a concepção e o desenho daquele conjunto de dados.
Estruturando o armazenamento em nuvem
Após a criação, na etapa 2, os dados precisam ser armazenados de forma segura e organizada. A computação em nuvem ampliou significativamente as opções de armazenamento, permitindo que as organizações utilizem diferentes tecnologias para diferentes necessidades. Assim, contamos com Data Lakes (lagos de dados), Data Warehouses (armazéns de dados), Data Marts (mercados de dados), bancos de dados e repositórios especializados. Novas “buzzwords” surgem diariamente, o que reflete a dinâmica que vivenciamos na estrutura de cloud (nuvem).
Nesse momento, a governança atua definindo padrões organizacionais: nomenclatura, retenção, classificação dos ativos, qualidade e tudo o que a organização precisa ou tem por estratégia proteger. A governança de dados trabalha para garantir que isso seja, de fato, aplicado no dia a dia.
Transformando dados e garantindo rastreabilidade
Raramente os dados permanecem exatamente como foram capturados. Eles não seguem inalterados do início ao fim. Eles passam por processos de transformação e de integração com outros dados, para suportar relatórios, análises ou aplicações operacionais. Os dados se movimentam durante toda a sua vida.
Nessa etapa, surgem desafios relevantes de rastreabilidade, já que os dados podem sofrer múltiplas alterações ao longo do caminho. Novamente, é fundamental que a governança de dados garanta que essas transformações sejam documentadas e auditáveis. Qual foi o ETL ou o ELT? Houve transformação antes da carga? Quais são as “pipelines” (fluxos de processamento) que dependem desse conjunto de dados? Quais são as integrações pelas quais esse dado passa até ser utilizado por um processo ou até chegar ao fim de sua vida e ser descartado? Para qual consolidação de informações esse dado contribui? Tudo isso exige atuação sistemática da governança de dados.
Consumindo dados e gerando valor com segurança
Na etapa 4, o objetivo final dos dados é sempre gerar valor para o negócio. Há custo de armazenamento e de processamento, e esse custo precisa se pagar, pois os dados devem gerar valor para o negócio — caso contrário, não fariam jus à reputação de “novo petróleo” frequentemente citada.
Após serem preparados e organizados, os dados passam a ser consumidos por pessoas usuárias.
Usuários, processos, dashboards (painéis), modelos analíticos, soluções de inteligência artificial: os dados são utilizados por inúmeros processos e por diversos estágios de maturação. Tudo isso acontece quase simultaneamente dentro do nosso ambiente de cloud (nuvem).
Nesse processo, a governança busca equilibrar a acessibilidade e a proteção, garantindo que as pessoas corretas utilizem os dados adequados para os propósitos previstos. Há uma discussão constante sobre quem usa o quê, quais dados precisam permanecer mais protegidos e quem é a pessoa proprietária de cada dado. As discussões centrais da governança de dados são amplificadas no ambiente de nuvem.
Monitorando o ciclo e explorando plataformas de nuvem
Diferentemente do que muitas pessoas imaginam, a governança não termina quando os dados começam a ser utilizados. Há quem pense que a governança está apenas no fim ou apenas no meio, porém ela está presente em todo o ciclo de vida. Precisamos acompanhar continuamente os indicadores de qualidade para garantir que os dados estão sendo transformados sem deterioração da qualidade. Também precisamos acompanhar a segurança, a conformidade e a utilização, assegurando que os objetivos definidos pela organização continuem sendo atendidos. Tudo isso compõe o papel da governança de dados.
As plataformas em nuvem disponíveis no mercado possibilitam um monitoramento muito mais automatizado e abrangente ao longo desse processo. É sobre isso que vamos conversar: entender os principais players (atores) e como nós nos situamos, além do que é importante para nós em governança de dados nesse contexto.
Definindo políticas de retenção e descarte
Nem todos os dados devem ser mantidos para sempre. Existem regras de retenção, obrigações regulatórias, arquivamento, anonimização e exclusão segura. Esses aspectos regulatórios, legais, operacionais e financeiros exigem que as organizações definam políticas claras. Precisamos ter políticas objetivas para retenção e descarte de informação em qualquer contexto de mercado — seja um banco, uma seguradora, uma empresa do setor industrial, ou outro negócio. Devemos acompanhar o que as políticas determinam, sejam elas regulatórias (políticas nacionais sobre proteção e armazenamento de dados) ou internas (políticas para gestão de compliance (conformidade)).
Uma governança madura garante que os dados sejam preservados quando necessário, devidamente protegidos, disponíveis para uso e eliminados de forma adequada quando deixarem de possuir valor ou quando houver obrigação legal. Existem casos em que, após determinado tempo de armazenamento, os dados precisam ser descartados; em outros, a própria pessoa cliente pode solicitar o descarte, pois ela é a detentora de suas informações. Precisamos garantir que tudo isso aconteça e que a organização tenha como aplicar esses processos no seu dia a dia.
Recapitulando conceitos e apresentando próximos passos
De forma simples, compreender a governança de dados é enxergá-la como uma camada transversal que acompanha todo o ciclo de vida dos dados. Ela não atua apenas no nascimento, não ocorre somente depois que os dados estão prontos nem fica restrita ao descarte. Ela acompanha todo o processo, garantindo que, desde a criação até o descarte, a organização tenha políticas, processos, responsabilidades e controles capazes de assegurar qualidade, segurança, conformidade e, principalmente, geração de valor para o negócio. Os processos que implementamos ao longo do ciclo de vida devem garantir, sobretudo, esse valor.
Neste vídeo, percebemos e aprendemos que os dados percorrem um ciclo de vida contínuo, passando por etapas de criação, armazenamento, transformação, consumo, monitoramento e descarte. A vida dos dados, enquanto ativos de valor para a companhia, atravessa diversas etapas, diferentes públicos e processos específicos. Vimos também que a governança de dados não se limita a uma única atividade; ela acompanha o ciclo inteiro, do nascimento ao descarte, garantindo que os dados permaneçam confiáveis e seguros, alinhados com a estratégia da organização.
Nos próximos vídeos, vamos avançar, aprofundar a discussão, conhecer as plataformas de nuvem, os provedores disponíveis e evoluir nesse tema.
Te espero no próximo vídeo. Até lá.