MongoDB para análise de dados: consultas, agregação e dashboards com Power BI

Primeiros passos no MongoDB para analistas - Apresentação

Apresentando o curso e o foco analítico

Olá, seja muito bem-vinda, muito bem-vindo a este curso de MongoDB para análise de dados. Estou muito feliz por estar aqui com vocês, iniciando esta jornada, porque este é um tema cada vez mais presente no mercado de dados.

Ao longo deste curso, nós vamos olhar para o MongoDB sob a perspectiva de uma pessoa analista de dados. Isso significa que nosso foco não será administrar servidores, configurar aplicações ou desenvolver sistemas completos. Nosso foco será entender uma base MongoDB, navegar pelos documentos, construir consultas e responder a perguntas de negócio.

Contextualizando a importância do MongoDB para análise

O MongoDB se tornou uma tecnologia muito importante no mercado, porque muitas empresas trabalham com dados em formatos mais flexíveis. Em vez de armazenar tudo apenas em tabelas, como acontece nos bancos de dados relacionais, algumas aplicações armazenam informações em documentos. Esses documentos podem representar pedidos, clientes, produtos, eventos, logs (registros), cadastros e muitas outras informações que fazem parte da operação de uma empresa.

Para a pessoa analista de dados, isso é muito relevante. Mesmo que você não seja responsável por criar a aplicação, pode chegar o momento em que terá que analisar dados armazenados em MongoDB. Quando isso acontecer, você precisará entender como a informação está organizada e como transformar essa estrutura em respostas úteis para o negócio.

Contrastando o modelo relacional com o modelo de documentos

Se você vem do universo de bancos de dados relacionais, como, por exemplo, SQL, SQL Server, PostgreSQL ou Oracle, provavelmente está acostumado a pensar em tabelas, linhas, colunas, chaves e relacionamentos. Esse conhecimento continua sendo muito importante, mas o MongoDB trabalha com outro modelo. No MongoDB, temos bancos, coleções e documentos. Os documentos utilizam uma estrutura semelhante a JSON (Notação de Objeto JavaScript), com campos simples, campos aninhados e listas de valores.

Antes de compararmos diretamente o MongoDB com SQL, precisamos entender a lógica desse modelo de documentos. Esse será um dos primeiros passos do curso.

Estruturando o conteúdo e as técnicas do curso

Durante as aulas, nós vamos construir esse entendimento aos poucos. Primeiro, vamos conhecer o MongoDB Atlas, o MongoDB Compass e a base didática que será utilizada no curso. Depois, vamos entender o que é JSON (Notação de Objeto JavaScript), o que são documentos, coleções, campos aninhados e arrays (listas).

Em seguida, nós vamos trabalhar com consultas simples, filtros, seleções de campo e navegação pela estrutura dos pedidos. Mais adiante, nós vamos usar o que chamamos de Aggregation Pipeline (pipeline de agregação) para criar métricas, resumir informações, segmentar resultados e responder perguntas de negócio. Também vamos analisar itens de pedidos, campanhas, entregas, atrasos, inconsistências e formas de preparar dados para consumo em ferramentas analíticas.

Introduzindo a base Suprema Shop e os objetivos analíticos

Para tornar o curso mais prático, nós vamos usar uma base chamada Suprema Shop. A Suprema Shop é uma empresa fictícia de varejo que vende por diferentes canais, como site (site), aplicativo e loja física. Nessa base, nós vamos encontrar informações sobre pedidos, clientes, produtos, categorias, pagamentos, campanhas e entregas. Esse será o cenário didático, que foi pensado para representar situações próximas da rotina de uma pessoa analista de dados.

A ideia é que você não aprenda apenas comandos isolados. A ideia é que você consiga olhar para uma base e fazer perguntas como: quais canais venderam mais? quais produtos se destacam? onde existem atrasos? quais campanhas geram resultados? e onde há sinais de problemas nos dados? Este é o ponto essencial deste curso: o MongoDB será tratado como uma fonte de dados para análise.

Orientando o raciocínio analítico e próximos passos

Como pessoa analista de dados, você precisa observar a estrutura da base, identificar os campos disponíveis, entender os dados, como se relacionam dentro dos documentos, e construir consultas que respondam a perguntas reais. Muitas vezes, a dificuldade não está apenas em escrever um comando, e sim em entender o que a pergunta de negócio está pedindo e como essa pergunta pode ser traduzida em uma consulta. Por isso, ao longo do curso, nós vamos sempre conectar um recurso técnico com um raciocínio analítico.

Seja muito bem-vinde. Eu agradeço por você estar aqui e espero que esse curso ajude você a ampliar sua visão sobre banco de dados e análise de dados. O MongoDB é diferente do banco de dados relacional, mas ele não precisa ser um obstáculo para você. Com método, prática e bons exemplos, você vai perceber que é possível navegar por documentos, construir consultas e gerar informações valiosas para o negócio.

Nos próximos vídeos, nós vamos preparar o ambiente e entender a base que será usada no curso. Nos vemos nas próximas aulas. Um abraço e até o próximo vídeo.

Primeiros passos no MongoDB para analistas - Criando cluster do MongoDB Atlas

Criando o cluster e introduzindo o acesso de rede

Nesta página, vamos escolher o tipo de cluster que vamos criar. Vamos criar o cluster Free (gratuito), para não precisarmos pagar nada. No campo de nome do cluster, podemos definir qualquer nome; vamos inserir, por exemplo, “curso” e clicar no botão Setup for me (Configurar para nós). Em seguida, será exibido o desafio de verificação, no qual precisamos clicar nos quadrados com motocicletas; pode aparecer uma imagem diferente para você. Vamos validar e aguardar a configuração do cluster.

Com o cluster configurado, nesta página precisamos definir o acesso de rede. O MongoDB Atlas precisa saber quais endereços IP poderão se conectar ao cluster. Normalmente, ele detecta o IP da máquina atual — por exemplo, aqui foi detectado o IP da nossa máquina — e, assim, apenas a partir desta máquina conseguiremos realizar conexões. Porém, pode ser necessário configurar o acesso ao Atlas em uma máquina e, depois, acessar o MongoDB a partir de outra. Essa configuração reduz a segurança.

Configurando o acesso por ip e reconhecendo riscos

Para evitarmos problemas, inclusive o risco de não conseguirmos acessar a instância do MongoDB Atlas ao alternarmos redes e máquinas durante o curso, vamos configurar o ambiente para aceitar conexões de qualquer IP. Para isso, vamos clicar no botão Network Access (Acesso de rede). Na lista de IPs autorizados, referente ao IP da nossa máquina, vamos clicar em Edit (Editar) e inserir 0.0.0.0/0. Ao fazer isso, liberamos o acesso a partir de qualquer IP, isto é, de qualquer máquina; desde que haja login e senha válidos, será possível acessar o cluster.

Estamos adotando essa configuração para facilitar o acompanhamento do curso, permitindo alternar redes e máquinas. Reforçamos que essa configuração reduz a segurança e nunca deve ser utilizada em ambientes reais de produção com dados sensíveis.

Sempre utilizamos o intervalo de IPs da rede da empresa na qual estamos trabalhando. Vamos confirmar. Um alerta é exibido informando possíveis problemas de segurança. Aguardamos um momento enquanto, na parte inferior da tela, o sistema configura e altera as propriedades, atualizando as regras de rede. Assim que o recurso ficar ativo, podemos voltar para a tela anterior para continuar a configuração.

Configurando o usuário de conexão e definindo credenciais

Em seguida, vamos configurar o usuário de conexão no banco de dados MongoDB. O sistema apresenta uma sugestão de nome de usuário e senha. Podemos utilizar essas credenciais; porém, vamos criar um acesso mais simples. Para isso, clicamos em Database Access (Acesso ao Banco de Dados), editamos esse usuário e definimos uma senha mais fácil de lembrar. Em seguida, clicamos em Update User (Atualizar Usuário), e a senha é alterada.

Vamos verificar se conseguimos editar também o login. Na prática, podemos utilizar esse mesmo usuário. Copiamos o nome de usuário e o guardamos em um bloco de notas para não esquecer. Definimos, no nosso caso, a senha root, simples, para facilitar durante o curso. Salvamos e mantemos o bloco de notas aberto. Sempre que precisarmos criar uma conexão com o banco, utilizaremos esse usuário e essa senha.

Baixando o arquivo de ambiente e finalizando a preparação

Também podemos fazer o download (baixar) do arquivo .env, que contém as propriedades de conexão. Baixamos primeiro para a pasta 'Downloads' e, depois, salvamos em um diretório de trabalho. Em seguida, podemos escolher o método de conexão, definindo como faremos a conexão ao banco. Por ora, não entraremos nessa tela; apenas clicamos em Close (Fechar).

Concluímos a preparação do ambiente no MongoDB Atlas e podemos começar a trabalhar com o MongoDB.

Primeiros passos no MongoDB para analistas - Recuperando a base MongoDB da SupremaShop pelo Compass

Apresentando o objetivo e o ambiente

Recuperando a base MongoDB da Suprema Shop pelo MongoDB Compass. No vídeo anterior, criamos o cluster (agrupamento) do MongoDB Atlas e validamos a conexão usando o MongoDB Compass. Agora, vamos usar esse ambiente para recuperar a base de dados que será utilizada no curso.

Vamos entender a arquitetura: o Atlas será nosso servidor MongoDB na nuvem e o MongoDB Compass será a ferramenta visual utilizada para criar o database (banco de dados), criar as coleções e importar os arquivos da base. Ou seja, os dados ficarão no Atlas, mas o upload (envio) dos arquivos será feito pelo MongoDB Compass.

Definindo o database e as coleções

Vamos, por exemplo, criar um database (banco de dados) cujo nome será Suprema_Shop_Analytics. Dentro do Suprema_Shop_Analytics, vamos carregar cinco coleções. No MongoDB, as coleções são equivalentes a tabelas, embora não sejam exatamente como as tabelas de um banco de dados relacional — abordaremos essa diferença mais à frente. As coleções serão:

• pedidos
• clientes
• produtos
• campanhas
• centros de distribuição

Essas coleções formarão a base didática da empresa Suprema Shop, que será utilizada nos próximos vídeos e aulas para realizarmos consultas, filtros, agregações, análise de itens, campanhas, entregas, qualidade de dados e, no final, integração com o Power BI.

Organizando os diretórios e arquivos locais

Criamos em nossa máquina local, em um diretório de nossa escolha (no nosso caso, escolhemos a unidade F: por ter mais espaço, mas pode ser em qualquer local), um diretório chamado "Curso MongoDB". Nele, colocamos o arquivo /.env que importamos do MongoDB Atlas — podemos utilizá-lo ou não daqui para frente — e aquele arquivo do Bloco de Notas no qual anotamos nosso login e senha. Temos, ainda, outro diretório chamado "BKBase". Esse diretório pode ser recuperado pelo link que está no início do curso: fazemos o download da base, descompactamos e colocamos aqui.

Dentro desse diretório "BKBase", há um subdiretório chamado "JSON-L". Dentro de "JSON-L", encontraremos cinco arquivos com extensão .jsonl: campanhas, centros de distribuição, clientes, pedidos e produtos. Cada arquivo corresponde a uma coleção. Por exemplo, pedidos.jsonl será utilizado para criar a coleção pedidos, clientes.jsonl será utilizado para criar a coleção clientes, e assim por diante.

Explicando o formato JSON-L

O que é um JSON-L? JSON-L significa JSON Lines (linhas JSON). É um formato no qual cada linha do arquivo é um documento JSON independente. Isso é diferente de um arquivo JSON tradicional, no qual a lista está dentro de colchetes []. No JSON-L, o MongoDB lê linha a linha e transforma cada linha em um documento da coleção. Esse formato é muito utilizado para importarmos grandes bases no MongoDB, inclusive quando queremos transferir dados de uma base para outra.

Se abrirmos um desses arquivos com um editor de texto, por exemplo, o Bloco de Notas, veremos seu conteúdo. Observamos que cada linha corresponde a um documento JSON que, na prática, será uma linha da nossa base.

Iniciando a carga da base

Aqui, realizaremos a carga completa.

Combinado? Vamos agora criar nossa base, criar nossas coleções e carregá-las no MongoDB Atlas por meio do MongoDB Compass.

Criando o banco e importando pedidos

No MongoDB Compass, vamos criar um novo banco de dados e a nossa primeira coleção. Sobre o nome da conexão, há um botão de adição (+); clicamos nesse botão e criamos a base de dados, que chamaremos de Suprema Shop Analytics. Em seguida, já criamos a coleção principal do curso, que será a coleção de pedidos. Vamos criar a base e a primeira coleção.

Ao fazer isso, passamos a ter a base e, dentro dela, a coleção pedidos. Vamos importar os dados. Para isso, clicamos na coleção pedidos e, na parte inferior da interface, selecionamos o botão Import Data (Importar dados). No diretório local da nossa máquina, dentro da pasta "Backup Base" e da subpasta "JSONL", selecionamos o arquivo pedidos.jsonl. Em seguida, clicamos em Import (Importar). Na parte inferior, o Compass exibe a contagem de documentos sendo lidos e escritos (por exemplo, 5.000, 6.000, 7.000). Depois disso, vemos os primeiros registros importados.

Importando clientes e produtos

Agora, vamos importar clientes, nossa segunda coleção. Na base de dados, clicamos novamente no botão de adição (+) e criamos a coleção clientes, usando a opção Create Collection (Criar coleção). Em seguida, clicamos sobre a coleção clientes, escolhemos o arquivo clientes.jsonl e clicamos em Import (Importar). O Compass realiza a leitura dos dados.

Vamos agora para a terceira coleção, produtos. Clicamos novamente na base de dados, criamos a coleção produtos com Create Collection (Criar coleção) e, sobre a coleção produtos, acessamos Import Data (Importar dados), selecionamos o arquivo Produtos.jsonl, clicamos em Select (Selecionar) e, por fim, em Import (Importar).

Importando campanhas e centros de distribuição

Em seguida, passamos para campanhas. Informamos o nome da coleção campanhas, usamos Create Collection (Criar coleção), acessamos Import Data (Importar dados), selecionamos o arquivo Campanhas.jsonl e clicamos em Import (Importar). Essa importação é bastante pequena.

Por fim, vamos criar a coleção Centros Distribuicao. Clicamos no botão de adição (+), digitamos Centros Distribuicao e criamos a coleção. Devemos evitar acentos ou cedilha nos nomes das coleções. Em seguida, acessamos Import Data (Importar dados), selecionamos o arquivo Centros Distribuição, clicamos em Select (Selecionar) e, por fim, em Import (Importar).

Concluindo a preparação do ambiente do curso

Temos, então, cinco coleções carregadas dentro da base Suprema Shop Analytics. Agora já estamos prontos para começar a trabalhar.

Com essa base carregada, nosso ambiente do curso está pronto. Temos o Cluster (cluster) no Atlas, o MongoDB Compass conectado à base Suprema Shop Analytics e todas as coleções necessárias carregadas. A partir do próximo vídeo, vamos observar a estrutura desses documentos e entender como o MongoDB organiza as informações.

O objetivo aqui é garantir que todas as pessoas estejam utilizando a mesma base. Assim, quando fizermos, ao longo do curso, as consultas e as perguntas de negócio, você poderá reproduzir, no seu próprio ambiente, os resultados que vamos mostrar.

Combinado? Muito obrigado e até o próximo vídeo.

Sobre o curso MongoDB para análise de dados: consultas, agregação e dashboards com Power BI

O curso MongoDB para análise de dados: consultas, agregação e dashboards com Power BI possui 399 minutos de vídeos, em um total de 76 atividades. Gostou? Conheça nossos outros cursos de Bancos de Dados & SQL em Dados, ou leia nossos artigos de Dados.

Matricule-se e comece a estudar com a gente hoje! Conheça outros tópicos abordados durante o curso:

• Primeiros passos no MongoDB para analistas
• Explorando documentos para entender o negócio
• Construindo métricas com aggregation pipeline
• Analisando itens, produtos e categorias
• Campanhas, entregas e qualidade dos dados
• Preparando respostas e comunicando insights