Governança de dados em cloud: estratégias, ferramentas e compliance

Fundamentos da Governança Cloud - Apresentação

Apresentando o instrutor e contextualizando a experiência

Olá, seja muito bem-vinde.

Eu sou o Allan, gerente de governança de dados e inteligência artificial na Afri. Atuo há mais de 20 anos no mercado segurador e há mais de cinco anos no mercado de ensino.

Sou professor da FIAP e, aqui na Alura, gravo conteúdo há mais de um ano.

Sou formado em Ciências Econômicas, posteriormente realizei um curso de Big Data, finalizei um MBA em Big Data e, agora, estou concluindo o meu Mestrado em Computação Aplicada.

Apresentando o tema, realizando a audiodescrição e encerrando

Vamos discutir hoje governança de dados em cloud (nuvem), um tema essencial para a gestão e para garantir que os dados gerem valor para o negócio, e não representem apenas custo de armazenamento.

Audiodescrição: Eu sou um homem branco, de pele clara, com cabelos e barba curtos, castanho-escuros. Estou com uma camiseta preta e o fundo é da Alura, com iluminação em tom neon azul e rosa.

Eu te espero nos próximos vídeos. Até lá, seja muito bem-vinde. Obrigado.

Fundamentos da Governança Cloud - Por que a governança de dados muda na cloud

Apresentando a série e contextualizando o passado

Olá, seja muito bem-vinde. Vamos dar início à nossa sequência de vídeos sobre governança de dados em cloud (nuvem), na era da cloud (nuvem).

Para começar, vamos discutir o contexto e o cenário que vivemos hoje. Durante muitos anos, os dados corporativos permaneciam centralizados. Nós víamos nosso time de DBA (administrador de banco de dados) e a equipe de tecnologia e infraestrutura mantendo todos os dados em Oracle e SQL Server, sempre administrados em ambiente da própria empresa. Esse era o ambiente que tínhamos no passado, e funcionou muito bem por muitos anos.

Descrevendo a mudança para a cloud e reforçando os princípios

Com a adoção da cloud (nuvem), o cenário muda. Hoje temos dados gerados, compartilhados e consumidos por diversas aplicações, plataformas analíticas, soluções de inteligência artificial, sistemas distribuídos; tudo isso exige que o dado deixe de permanecer como estava e passe a ser levado para a cloud (nuvem), sendo utilizado por várias pessoas e vários serviços. Esse movimento aumenta significativamente a necessidade de governança. O que antes era mais controlado, mudava pouco e tinha um nível de segurança associado a poucas pessoas acessando e poucas alterações acontecendo, hoje exige que a governança de dados tenha um papel muito mais importante para garantir que os dados continuem protegidos e gerando valor para o negócio.

A migração de on-premises (ambiente local) para cloud (nuvem) não elimina os fundamentos da governança de dados. Se olharmos os princípios do DAMA-DMBOK, a governança consiste no exercício de autoridade e controle sobre os ativos de dados, estejam eles em Oracle, em um ambiente on-premises (ambiente local) da empresa, ou na cloud (nuvem). O objetivo continua o mesmo: garantir que os dados sejam protegidos, compreendidos, confiáveis e utilizados na geração de valor para o negócio.

O que muda agora é a velocidade. Esses princípios que estão na tela — qualidade, segurança, privacidade, rastreabilidade e valor para o negócio — permanecem os mesmos tanto no cenário controlado dentro de casa quanto no cenário atual de mercado em cloud (nuvem).

Apontando os desafios operacionais e o aumento de escala

Qual é o principal desafio da cloud (nuvem)? Ele é introduzido não de forma conceitual, mas operacional. Criar ambientes, integrar dados e disponibilizar novas soluções se tornou muito mais simples. Nós fazemos uma alteração em um produto de dados, criamos um novo produto de dados, instalamos ou conectamos um novo serviço àquele conjunto de dados de forma muito mais simples e rápida. Consequentemente, a organização passa a administrar um volume muito maior de dados. Hoje falamos de terabytes como se não fosse nada; antigamente, esse volume representava praticamente o banco inteiro da empresa. Diante disso, precisamos de mecanismos mais eficientes para controlar e dar visibilidade.

Basicamente, o que muda é: mais fontes, mais ambientes, mais usuárias e usuários, mais integrações e mais velocidade na mudança. É por isso que a governança de dados passa a ter um papel ainda mais importante nesse contexto.

Esclarecendo a distribuição dos dados e as responsabilidades

Em ambientes de cloud (nuvem), os dados raramente permanecem centralizados, como comentamos anteriormente. Eles estão distribuídos em data lakes (lagos de dados), data warehouses (armazéns de dados), aplicações SaaS (software como serviço), ambientes analíticos e soluções de inteligência artificial. Governar esses dados passa a significar conhecer onde esses dados estão, quem os utiliza e quais controles devem ser aplicados. Mudou a complexidade, não o objetivo ou o fim. Podemos perceber essa alteração de complexidade na gestão do dado.

Muitos profissionais acreditam que mover os dados para a cloud (nuvem) transfere toda a responsabilidade para o provedor. Por exemplo: “Colocamos na AWS ou na Azure e agora está tudo governado porque eles têm toda a gestão lá.” Isso não é verdade. Os provedores oferecem a infraestrutura e os mecanismos de segurança, mas cabe à organização definir as políticas que deseja seguir, os controles de acesso, proteger as informações e garantir o uso adequado do dado. A gestão, a forma como os dados devem ser geridos e a conformidade com a regulação exigida pelo mercado em que a organização está inserida continuam sendo responsabilidades da própria empresa, não do provedor que oferece a infraestrutura de cloud (nuvem).

Alertando para riscos ampliados e limitações de controles manuais

Assim como a computação em nuvem acelera a inovação, também acelera a propagação de problemas. Hoje, um acesso mal configurado, uma classificação incorreta ou um conjunto de dados incompleto podem gerar impactos significativos em larga escala. O que antes era um erro em produção em um conjunto de dados utilizado por poucas pessoas e do qual poucos processos dependiam, hoje se torna mais evidente e ocorre com maior rapidez. Existem aplicações que rodam diariamente; se uma tabela não processa de um dia para o outro, no dia seguinte o processo é interrompido, as aplicações param e as pessoas gestoras começam a nos contatar. Tudo isso foi ampliado pela adoção da cloud (nuvem). Dados duplicados, acessos excessivos, falta de rastreabilidade, custos desnecessários — já que levar dados para a cloud (nuvem) implica custos relevantes — e exposição de informações foram ampliados pela utilização da cloud (nuvem).

Em um ambiente moderno, a governança não deve depender apenas de controles manuais. Precisamos acompanhar essa evolução — reconhecemos que é desafiador — porque, embora a governança esteja ganhando importância e relevância no mercado e as empresas percebam seu valor, ainda se dedica muito mais investimento aos braços de desenvolvimento de soluções do que às estruturas de governança de dados. Essa é uma realidade que precisamos acompanhar e sobre a qual precisamos justificar, continuamente, a importância da área de governança de dados.

Apresentando recursos de cloud e defendendo a automação

As ferramentas de cloud (nuvem) oferecem recursos capazes de identificar dados sensíveis, documentar sua origem, rastrear a movimentação e monitorar acessos. Nos grandes provedores de cloud (nuvem) que vamos ver durante este curso, veremos que esses recursos são, em grande medida, uma commodity (recurso comoditizado). Todos oferecem essas capacidades de alguma forma — com variações aqui e ali —, mas os princípios são nativos em todas as plataformas.

Nesse contexto, a automação torna-se uma das principais aliadas da governança. Não conseguimos mais gerir o conjunto de dados de uma empresa utilizando somente o Excel. Apesar de os princípios poderem ser praticados em uma ferramenta como o Excel, a explosão na quantidade de dados torna inviável dar conta apenas com esse recurso.

Desmistificando impactos na inovação e estabelecendo guardrails

Governança de dados não existe para desacelerar a inovação. Esse é um mito: a ideia de que governança de dados trava processos, dificulta e retarda a inovação. Muito pelo contrário, uma boa governança permite que a organização utilize dados com mais velocidade, confiança e menor risco. Quanto mais madura for a governança, maior será a capacidade de escalar soluções baseadas em dados e em IA.

Ao cumprir o dever de casa da governança de dados — estruturando e criando os guardrails (diretrizes de proteção) —, a empresa consegue transformar em produto essas soluções de dados e de IA com muito mais velocidade. Com o ambiente e os alicerces já construídos, essas soluções que nós vemos no mercado, como produtos de dados específicos, soluções de analytics (análise) ou de IA, passam a ser produzidas com muito mais facilidade.

Concluindo o vídeo e direcionando o foco do curso

Para fechar este vídeo, entendemos que a computação em nuvem mudou profundamente o cenário da governança de dados. Não pelos princípios, e sim pela ampliação do que estamos administrando agora. Os princípios permanecem os mesmos, mas a escala, a distribuição e a velocidade exigem novos mecanismos de controle, tema que vamos abordar nos próximos vídeos.

Espero que você tenha gostado e que goste deste curso. Eu vou buscar sempre utilizar uma linguagem tranquila e leve, para que você entenda principalmente os princípios. Vamos focar em princípios e na fundamentação da atuação de governança de dados em uma empresa. No contexto deste curso, essa empresa está orientada à migração para a cloud (nuvem), em ambientes de cloud (nuvem), mas vamos focar nos princípios — no que torna a área de governança de dados importante e capaz de gerar valor para a organização. Nos vemos no próximo vídeo. Obrigado e até lá!

Fundamentos da Governança Cloud - O ciclo de vida dos dados em nuvem

Apresentando o ciclo de vida dos dados na nuvem

Olá, seja muito bem-vinde. Vamos dar sequência à nossa conversa sobre governança de dados em ambientes de cloud (nuvem). Agora, vamos abordar o ciclo de vida dos dados.

Um dos conceitos fundamentais da governança de dados é que os dados não permanecem estáticos. Eles nascem, são transformados, são compartilhados, são utilizados por diferentes processos e, em algum momento, precisam ser arquivados e eliminados. Chamamos isso de ciclo de vida dos dados. Eles nascem, são transformados, são utilizados, enriquecem outros dados e, em determinado momento, precisam ser descartados.

Compreender esse ciclo de vida permite identificar os riscos, as responsabilidades e os controles necessários para cada etapa. Em essência, é isso que a área de governança realiza: acompanha o dado desde o seu nascimento até o seu descarte.

Em ambientes de cloud (nuvem), esse ciclo se torna ainda mais dinâmico, porque a movimentação dos dados ocorre em diversos serviços. Dados nascem a todo momento, são tratados, consumidos e compartilhados continuamente. É isso que a cloud (nuvem) proporciona para nós. Foi o que nós comentamos no vídeo anterior: a ampliação da utilização e da movimentação do dado dentro da empresa. É o que acontece com os processos que vivenciamos no dia a dia, com IA, entre outros.

Detalhando a origem e a qualidade dos dados

Todo dado possui uma origem. Ele pode ser criado em sistemas corporativos, aplicativos móveis, portais digitais, integrações entre empresas ou dispositivos conectados. Cada um nasce de um modo específico. A qualidade da informação começa nesse momento. Dados incompletos, incorretos ou inconsistentes geram impactos que se propagam ao longo de todo o ciclo de vida. Por isso, a governança de dados precisa acompanhar desde o nascimento, garantindo que os dados já surjam com qualidade e não prejudiquem os processos que deles dependem.

A governança deve estabelecer padrões desde a captura, passando pela validação e identificação dos dados, desde a origem, desde a concepção e o desenho daquele conjunto de dados.

Estruturando o armazenamento em nuvem

Após a criação, na etapa 2, os dados precisam ser armazenados de forma segura e organizada. A computação em nuvem ampliou significativamente as opções de armazenamento, permitindo que as organizações utilizem diferentes tecnologias para diferentes necessidades. Assim, contamos com Data Lakes (lagos de dados), Data Warehouses (armazéns de dados), Data Marts (mercados de dados), bancos de dados e repositórios especializados. Novas “buzzwords” surgem diariamente, o que reflete a dinâmica que vivenciamos na estrutura de cloud (nuvem).

Nesse momento, a governança atua definindo padrões organizacionais: nomenclatura, retenção, classificação dos ativos, qualidade e tudo o que a organização precisa ou tem por estratégia proteger. A governança de dados trabalha para garantir que isso seja, de fato, aplicado no dia a dia.

Transformando dados e garantindo rastreabilidade

Raramente os dados permanecem exatamente como foram capturados. Eles não seguem inalterados do início ao fim. Eles passam por processos de transformação e de integração com outros dados, para suportar relatórios, análises ou aplicações operacionais. Os dados se movimentam durante toda a sua vida.

Nessa etapa, surgem desafios relevantes de rastreabilidade, já que os dados podem sofrer múltiplas alterações ao longo do caminho. Novamente, é fundamental que a governança de dados garanta que essas transformações sejam documentadas e auditáveis. Qual foi o ETL ou o ELT? Houve transformação antes da carga? Quais são as “pipelines” (fluxos de processamento) que dependem desse conjunto de dados? Quais são as integrações pelas quais esse dado passa até ser utilizado por um processo ou até chegar ao fim de sua vida e ser descartado? Para qual consolidação de informações esse dado contribui? Tudo isso exige atuação sistemática da governança de dados.

Consumindo dados e gerando valor com segurança

Na etapa 4, o objetivo final dos dados é sempre gerar valor para o negócio. Há custo de armazenamento e de processamento, e esse custo precisa se pagar, pois os dados devem gerar valor para o negócio — caso contrário, não fariam jus à reputação de “novo petróleo” frequentemente citada.

Após serem preparados e organizados, os dados passam a ser consumidos por pessoas usuárias.

Usuários, processos, dashboards (painéis), modelos analíticos, soluções de inteligência artificial: os dados são utilizados por inúmeros processos e por diversos estágios de maturação. Tudo isso acontece quase simultaneamente dentro do nosso ambiente de cloud (nuvem).

Nesse processo, a governança busca equilibrar a acessibilidade e a proteção, garantindo que as pessoas corretas utilizem os dados adequados para os propósitos previstos. Há uma discussão constante sobre quem usa o quê, quais dados precisam permanecer mais protegidos e quem é a pessoa proprietária de cada dado. As discussões centrais da governança de dados são amplificadas no ambiente de nuvem.

Monitorando o ciclo e explorando plataformas de nuvem

Diferentemente do que muitas pessoas imaginam, a governança não termina quando os dados começam a ser utilizados. Há quem pense que a governança está apenas no fim ou apenas no meio, porém ela está presente em todo o ciclo de vida. Precisamos acompanhar continuamente os indicadores de qualidade para garantir que os dados estão sendo transformados sem deterioração da qualidade. Também precisamos acompanhar a segurança, a conformidade e a utilização, assegurando que os objetivos definidos pela organização continuem sendo atendidos. Tudo isso compõe o papel da governança de dados.

As plataformas em nuvem disponíveis no mercado possibilitam um monitoramento muito mais automatizado e abrangente ao longo desse processo. É sobre isso que vamos conversar: entender os principais players (atores) e como nós nos situamos, além do que é importante para nós em governança de dados nesse contexto.

Definindo políticas de retenção e descarte

Nem todos os dados devem ser mantidos para sempre. Existem regras de retenção, obrigações regulatórias, arquivamento, anonimização e exclusão segura. Esses aspectos regulatórios, legais, operacionais e financeiros exigem que as organizações definam políticas claras. Precisamos ter políticas objetivas para retenção e descarte de informação em qualquer contexto de mercado — seja um banco, uma seguradora, uma empresa do setor industrial, ou outro negócio. Devemos acompanhar o que as políticas determinam, sejam elas regulatórias (políticas nacionais sobre proteção e armazenamento de dados) ou internas (políticas para gestão de compliance (conformidade)).

Uma governança madura garante que os dados sejam preservados quando necessário, devidamente protegidos, disponíveis para uso e eliminados de forma adequada quando deixarem de possuir valor ou quando houver obrigação legal. Existem casos em que, após determinado tempo de armazenamento, os dados precisam ser descartados; em outros, a própria pessoa cliente pode solicitar o descarte, pois ela é a detentora de suas informações. Precisamos garantir que tudo isso aconteça e que a organização tenha como aplicar esses processos no seu dia a dia.

Recapitulando conceitos e apresentando próximos passos

De forma simples, compreender a governança de dados é enxergá-la como uma camada transversal que acompanha todo o ciclo de vida dos dados. Ela não atua apenas no nascimento, não ocorre somente depois que os dados estão prontos nem fica restrita ao descarte. Ela acompanha todo o processo, garantindo que, desde a criação até o descarte, a organização tenha políticas, processos, responsabilidades e controles capazes de assegurar qualidade, segurança, conformidade e, principalmente, geração de valor para o negócio. Os processos que implementamos ao longo do ciclo de vida devem garantir, sobretudo, esse valor.

Neste vídeo, percebemos e aprendemos que os dados percorrem um ciclo de vida contínuo, passando por etapas de criação, armazenamento, transformação, consumo, monitoramento e descarte. A vida dos dados, enquanto ativos de valor para a companhia, atravessa diversas etapas, diferentes públicos e processos específicos. Vimos também que a governança de dados não se limita a uma única atividade; ela acompanha o ciclo inteiro, do nascimento ao descarte, garantindo que os dados permaneçam confiáveis e seguros, alinhados com a estratégia da organização.

Nos próximos vídeos, vamos avançar, aprofundar a discussão, conhecer as plataformas de nuvem, os provedores disponíveis e evoluir nesse tema.

Te espero no próximo vídeo. Até lá.

Sobre o curso Governança de dados em cloud: estratégias, ferramentas e compliance

O curso Governança de dados em cloud: estratégias, ferramentas e compliance possui 126 minutos de vídeos, em um total de 42 atividades. Gostou? Conheça nossos outros cursos de Governança e Qualidade de Dados em Dados, ou leia nossos artigos de Dados.

Matricule-se e comece a estudar com a gente hoje! Conheça outros tópicos abordados durante o curso:

• Fundamentos da Governança Cloud
• Serviços de Governança nas Principais Clouds
• Catálogo, Metadados e Linhagem
• Segurança, Privacidade e Compliance
• Aplicação Prática e Tendências