Governança de dados: Motivadores de Governança de dados

Introdução à Motivadores de Governança de dados - Apresentação

Apresentando o instrutor e o curso

Boas-vindas ao nosso curso de motivadores da governança de dados. Meu nome é Pedro Henrique Campagna Moura da Silva e serei o instrutor ao longo deste curso.

Audiodescrição: Pedro é um homem branco, com cabelo curto castanho e olhos castanhos. Ele veste uma camisa azul e está em um ambiente de escritório com uma estante ao fundo.

Atualmente, sou instrutor de dados na Alura e especialista em governança de dados, atuando no mercado europeu. Meu histórico profissional abrange tanto o desenvolvimento de software quanto as relações internacionais, duas das minhas grandes paixões. Também sou entusiasta do aprendizado de novas línguas.

Explorando a governança de dados

Durante este curso, vamos explorar em detalhes como a área de governança de dados funciona atualmente e, principalmente, quais são os motivadores dessa área.

Vamos discutir a importância da área de governança de dados, explorando seu histórico, como foi formalizada e como chegamos ao momento atual em que diversas empresas necessitam cada vez mais de pessoas especializadas nessa área.

Abordando os motivadores da governança de dados

Abordaremos diversos motivadores, como a governança é utilizada para criar vantagem competitiva e para gerir os riscos que existem ao trabalharmos com dados. Também discutiremos sobre conformidade, ganho de escala com o uso de dados e a relação da governança de dados com a inteligência artificial, um tema que está em alta atualmente.

Se estiver gostando do conteúdo, continue conosco, pois em breve avançaremos para o próximo vídeo.

Introdução à Motivadores de Governança de dados - Explorando o passado da governança de dados

Introduzindo o histórico da governança de dados

Vamos ao conteúdo. A primeira questão que abordaremos neste curso é o histórico da governança de dados. É importante entender que a governança de dados é uma área relativamente nova, tanto na tecnologia da informação quanto na ciência de dados. Isso levanta algumas perguntas: se essa área não existia até alguns anos atrás, ninguém se preocupava com governança ou outras áreas eram responsáveis pelas disciplinas que hoje fazem parte da governança? A ideia é começarmos a analisar o futuro dos dados para entender essa questão com mais profundidade.

Um marco importante no histórico dos dados é o ano de 2010, por dois motivos. O primeiro é pessoal, pois foi quando começamos a trabalhar com dados em um contexto muito diferente. Na época, trabalhávamos em uma iniciação científica que buscava facilitar a experiência de usuários de aviação. Hoje, isso pode parecer óbvio, pois, ao comprar uma passagem, recebemos um e-mail que automaticamente cria uma notificação na agenda e permite o uso de uma carteira digital para guardar o cartão de embarque. Cada etapa dessa experiência utiliza muitos dados e uma integração eficiente para facilitar nossa vida. Em 2010, a situação era bem diferente. A ideia era criar um aplicativo que ajudasse as pessoas a entender mudanças no portão de embarque e outras informações de forma digital.

Explorando a evolução do mercado de dados

Além disso, 2010 marcou uma mudança significativa no mercado, que começou a olhar para dados de uma maneira inédita. Na época, não se falava em ciência de dados como conhecemos hoje, mas em Big Data. Também se discutia muito sobre Open Data, especialmente em relação a dados abertos do governo, questões climáticas, luz, pôr do sol, entre outros. Esses conceitos contribuíram para o desenvolvimento das áreas de ciência de dados e governança de dados.

A maior mudança que levou a essa nova abordagem sobre dados, inicialmente como Big Data e depois como ciência de dados, foi o barateamento das tecnologias de armazenamento e processamento de dados. Além disso, o desenvolvimento de novas tecnologias permitiu lidar com a crescente quantidade de dados, viabilizada pelo custo reduzido de armazenamento.

Popularizando a computação em nuvem

Nesse contexto, surgiu a popularização da computação em nuvem. Embora o conceito de nuvem seja antigo, a super popularização da computação em nuvem ajudou a baratear ainda mais o processamento de dados. Com a assinatura de serviços de nuvem, não é mais necessário adquirir fisicamente servidores, computadores para processamento ou baias de armazenamento. Assim, o acesso ao armazenamento e processamento de dados tornou-se mais acessível, o que é imprescindível para o trabalho com dados.

Observando a hiperespecialização dos profissionais de dados

Logo depois, observamos uma hiperespecialização dos profissionais. Antes, quando discutíamos Big Data, principalmente antes do surgimento do Big Data, a responsabilidade pelos dados estava centralizada em um profissional conhecido como DBA, ou Administrador de Banco de Dados. Essa profissão ainda existe, mas tornou-se mais específica. O DBA era responsável por definir as permissões de um banco de dados, realizar análises, garantir a qualidade dos dados, integrar diferentes aplicações ao banco de dados e assegurar que o banco estivesse operacional e eficiente, implementando chaves, índices, chaves primárias, entre outros. Inicialmente, toda essa responsabilidade era mais genérica e concentrada na figura do DBA.

Com a popularização das ferramentas de processamento de dados e o aumento da importância dos dados para as instituições, ocorreu a hiperespecialização dos profissionais. Do DBA, surgiram novas profissões mais especializadas em aspectos específicos dos dados, como analista de dados, cientista de dados e engenheiro de dados. Além disso, houve a especialização dos profissionais responsáveis pela infraestrutura. Hoje, ainda encontramos DBAs, pois os bancos de dados, especialmente os transacionais mais clássicos, ainda precisam ser administrados. No entanto, muitas pessoas que trabalhavam como DBAs hoje são engenheiras de dados ou arquitetas de dados. Assim, observamos essa hiperespecialização dos profissionais da área.

Discutindo a importância dos dados como ativo

Essa hiperespecialização não ocorre no vácuo; é uma resposta a um movimento de mercado que identificou o aumento da importância dos dados. À medida que algumas empresas começaram a utilizar mais os dados e a obter diversos benefícios, o mercado se direcionou para a necessidade de profissionais mais especializados em cada área de dados. Isso foi uma resposta à necessidade do mercado, que passou a ver os dados como um ativo mais importante. Os dados, por si só, tornaram-se um ativo quase central para as organizações. É isso que discutiremos durante este curso, além das consequências dessa hiperespecialização dos profissionais de dados.

Enfrentando novos desafios com a governança de dados

Com a hiperespecialização, teremos mais material técnico e mais pessoas tecnicamente capacitadas, especializadas nos aspectos inicialmente mais técnicos dos dados, como engenheiros e arquitetos. Também haverá um profissional extremamente importante, o analista de dados, que terá uma parte técnica, mas também será responsável por fazer a ponte com o contexto do negócio. A partir dessas duas vertentes, o analista de dados gerará dashboards para que as áreas de negócio possam entender com mais celeridade o que está acontecendo com os dados da instituição ou com a própria instituição, de uma determinada ótica representada por dados.

Essa grande mudança, na qual os dados se tornam um ativo do qual queremos extrair valor, impulsiona todas essas transformações que discutimos. Primeiramente, surge a necessidade de uma área mais especializada, com mais profissionais especializados, e com a pluralidade desses profissionais, enfrentaremos novos desafios. Esses desafios incluem, de um lado, um time muito técnico, e do outro, a necessidade de negócio que deseja cada vez mais utilizar dados no dia a dia. Com isso, surgem duas áreas que, a cada momento, focam em um ponto específico. Para que possamos trabalhar bem, tanto a área de negócio quanto a área de dados, surgirá a área de governança de dados. Discutiremos mais sobre a área de governança de dados e sua formalização no próximo vídeo.

Introdução à Motivadores de Governança de dados - Formalização da área

Discutindo a hiperespecialização na área de dados

No último vídeo, discutimos sobre a hiperespecialização que ocorreu na área de dados a partir de dois fatores principais. O primeiro foi o barateamento dos custos de processamento e armazenamento das informações, e o segundo foi uma movimentação do mercado que, cada vez mais, desejava utilizar dados mais próximos do contexto de negócio. Isso resultou na hiperespecialização dos profissionais da área, que antes eram, em sua maioria, administradores de bancos de dados, e agora se tornaram específicos, como analistas de dados mais próximos do negócio. Na parte mais técnica, temos engenheiros de dados, engenheiros de machine learning (aprendizado de máquina), arquitetos de dados, entre outras profissões que surgem com esse desenvolvimento.

É importante entender que tudo isso não ocorreu isoladamente. Trata-se de uma resposta à necessidade que o mercado demonstrou de trabalhar melhor com dados, especialmente porque os dados se tornaram, e continuam se tornando, ativos cada vez mais importantes. Assim, de um lado, temos a especialização dos profissionais da área de dados e, de outro, a formalização da área de dados de maneira geral dentro dessas personas, que são os DBAs, engenheiros, cientistas e analistas de dados.

Desenvolvendo ferramentas específicas para dados

Além disso, também observamos um forte desenvolvimento de ferramentas específicas para trabalhar com dados. Por exemplo, temos notebooks que operam junto com bibliotecas específicas para a gestão de dados, permitindo criar novos datasets (conjuntos de dados) e novas informações sobre esses datasets. Existem muitas ferramentas específicas para atender cada uma das necessidades dessas diferentes pessoas que agora trabalham com dados, o que resulta na formação de times altamente técnicos.

Anteriormente, um DBA trabalhava com um conjunto de soluções bem definidas, geralmente com um banco de dados transacional que não era em cloud (nuvem), mas sim armazenado em um servidor. Essa pessoa tinha um conjunto de ferramentas muito bem definido. Com a hiperespecialização das funções e da área como um todo, também houve o desenvolvimento de ferramentas diferentes para atender cada um desses perfis, criando times altamente técnicos e profissionais hiper específicos. Esses profissionais foram muito valorizados pelo mercado, pois se entendia que havia muito valor nessas habilidades técnicas.

Explorando a complexidade dos dados e o contexto de negócios

Entretanto, isso traz um contexto muito diferente. De um lado, temos as características desses dados mais complexos, como o volume, a complexidade e a diversidade desses dados.

Se recordarmos a discussão inicial sobre Big Data, normalmente utilizamos três Vs para defini-lo: variedade, volume e velocidade com que os dados chegam. Traduzimos aqui para variedade, diversidade e volume. Por outro lado, no contexto de negócios, os dados orientam decisões, trazem valor e se tornam cada vez mais estratégicos para as organizações.

Analisando a tensão entre times técnicos e de negócios

Surge, então, um embate interessante. De um lado, temos um time com grande conhecimento técnico, o time de dados, e do outro, todo o contexto de negócios. Devido à especialização desses times em habilidades e ferramentas técnicas, ocorre um distanciamento entre essas duas áreas. Isso gera uma tensão entre os times altamente técnicos e aqueles que possuem o contexto de negócios.

Vamos exemplificar. Suponhamos que trabalhamos em uma corretora de seguros com uma área de seguros imobiliários. Precisamos de uma equipe com conhecimento técnico específico das ferramentas e métodos para trabalhar com os dados, mas isso não é suficiente. Precisamos também de pessoas que compreendam o significado desses dados, a demanda sobre eles e o contexto de negócios em que estão inseridos, para que possamos atender à necessidade de uso dos dados pela organização.

Formalizando a área de governança de dados

Essa situação cria uma tensão significativa no ambiente organizacional, pois, à medida que os times técnicos se tornam mais especializados, a barreira entre eles e as unidades de negócios aumenta. É nesse contexto que surge a formalização da área de governança. Se os dados exigem profissionais com conhecimentos técnicos, mas são valiosos para a empresa, precisamos de uma área que faça a mediação entre esses dois aspectos.

Assim, as áreas de governança começam a surgir, com o entendimento de que os dados são importantes e estratégicos, mas dependem de conhecimento técnico específico. Sem o contexto de negócios, eles não podem ser utilizados de forma a agregar mais valor à instituição. A governança atua como mediadora da tensão entre a área de negócios e o conhecimento técnico.

Concluindo sobre a importância da governança de dados

No final das contas, a formalização da governança visa extrair valor de forma estratégica e reduzir as tensões entre a área técnica e a de negócios. Dessa forma, a governança de dados torna-se estratégica para todas as organizações que utilizam dados. Vamos explorar mais sobre isso no próximo vídeo.

Sobre o curso Governança de dados: Motivadores de Governança de dados

O curso Governança de dados: Motivadores de Governança de dados possui 131 minutos de vídeos, em um total de 53 atividades. Gostou? Conheça nossos outros cursos de Governança de Dados em Data Science, ou leia nossos artigos de Data Science.

Matricule-se e comece a estudar com a gente hoje! Conheça outros tópicos abordados durante o curso:

• Introdução à Motivadores de Governança de dados
• Transformando Dados em Vantagem Competitiva
• Governança como Ferramenta de Gestão de Risco
• Conformidade e Governança de Dados
• Eficiência e Ganho de Escala
• Governança de Dados na Era da Inteligência Artificial