Power BI Desktop: tratamento de dados no Power Query

Conectando aos datasets - Apresentação

Boas-vindas ao curso Power BI Desktop: tratamento de dados no Power Query. Meu nome é David Neves e sou instrutor na Alura!

David é uma pessoa de pele morena, com cabelo e barba pretos, vestindo uma camisa da Alura na cor cinza, em frente a um fundo branco iluminado por um degradê azul e verde.

O foco desse curso é entender como podemos nos conectar a algumas bases de dados, dado o nosso projeto de conectar conjuntos de dados da olist. Vamos nos conectar a extensões do tipo .excel, .csv, .json, e a um banco de dados MySQL.

A partir desse momento, começaremos a realizar todos os nossos tratamentos, conhecendo os recursos que o editor do Power Query, dentro do Power BI Desktop, possui para fazermos as transformações.

Aprenderemos a substituir e tratar valores, além de renomear e excluir colunas e tabelas, e trabalhar com parâmetros. Vamos aprender a utilizar o editor avançado, para entender como funcionam todas as etapas que aplicaremos ao projeto.

Também será abordado como transpor tabelas, de modo que elas tragam uma disposição que faça mais sentido para o nosso resultado final.

Por fim, seguiremos com a refatoração de todas as etapas aplicadas, visando usar todas as melhores práticas para obter um resultado mais coerente com o mercado, facilitando a análise de outras pessoas.

Esse é um curso totalmente focado em tratamento de dados, em vez de um olhar sobre a construção de dashboard e a utilização da linguagem DAX. Não abordaremos nenhum desses conceitos, então é importante que você tenha o Power BI instalado na sua máquina!

Venha comigo nesse curso para dar início à nossa caminhada. Vamos lá?!

Conectando aos datasets - Conexão ao Excel e CSV

Para dar nosso primeiro passo realizando as conexões, precisamos relembrar que vamos nos conectar a quatro diferentes fontes de dados. Começaremos com a conexão a uma pasta de trabalho do Excel.

Conexão ao Excel

Com o Power BI aberto, vamos acessar a opção "Obter dados", que aparece para nós na janela central ao inicializar o programa. Feito isso, será aberta uma nova janela, que possui uma gama de possibilidades de conexão. Uma delas é justamente a "Pasta de Trabalho do Excel".

Vamos dar um duplo clique sobre essa opção. Será aberta uma janela onde vamos procurar o arquivo desejado. Acessaremos o arquivo olist_pedidos.xlsx.

O arquivo estará disponibilizado para você nessa aula, para que seja possível fazer a mesma conexão que o instrutor.

Automaticamente, o Power BI fará a conexão com a base, visualizando o que existe nessa base de dados. Isso é feito por meio da janela "Navegador". Na lateral esquerda dessa janela, teremos duas seções:

1. O arquivo olist_orders_dataset;
2. E o arquivo olist_orders_dataset1.

Se clicarmos uma única vez sobre a primeira opção, por exemplo, teremos uma pré-visualização à direita de como está a tabela, sendo possível visualizar todas as colunas que a compõem.

Exibição das 2 primeiras linhas da tabela. Para visualizá-la na íntegra, acesse o arquivo na sua máquina.

Clicando sobre a segunda opção, teremos a pré-visualização da mesma tabela, porém com uma organização diferente. Nesse cenário, qual seria a diferença entre elas?

Exibição das 2 primeiras linhas da tabela.

Na primeira opção, temos um detalhe logo nas primeiras linhas: as colunas estão sem nome, indicadas como Column2, Column3, e assim por diante; e existem informações a mais na parte superior da tabela, logo nas primeiras linhas.

Já na segunda opção, aparentemente, temos o cabeçalho das colunas nomeados da maneira esperada, além de haver um tratamento das linhas.

Porém, como não sabemos como funcionam os pormenores desses tratamentos, vamos selecionar a primeira opção, para depois fazermos os tratamentos por conta própria.

Selecionada a opção desejada (olist_orders_dataset), teremos 3 opções no canto inferior direito da janela "Navegador": "Carregar", "Transformar Dados", e "Cancelar". Nesse caso, vamos selecionar a opção "Carregar".

Feito isso, será aberta uma nova janela que fará a carga dos dados, realizando finalmente a conexão à base de dados.

Finalizada a carga, teremos o dataset importado na seção "Dados", localizada na lateral direita da interface. A partir desse momento, temos a nossa primeira base.

Na sequência, faremos a conexão à segunda base, de extensão .csv.

Conexão ao CSV

Começaremos acessando novamente a opção "Obter dados", localizada na seção "Dados", à esquerda na guia superior da ferramenta. Ao clicar sobre ela, será aberto um menu suspenso contendo a opção "Texto/CSV". Vamos selecionar essa opção e, em seguida, dar um duplo clique sobre o arquivo olist_itens_pedidos.csv.

Assim como no arquivo Excel, teremos acesso a uma pré-visualização da tabela, porém com configurações um pouco diferentes.

Exibição das 3 primeiras linhas da tabela.

Por ser um arquivo de extensão .csv, ele é separado por vírgula e precisa de um delimitador. Na parte superior da janela de carregamento, temos 3 seções que compõem as configurações específicas:

• "Origem do Arquivo", para saber a codificação, pensando em caracteres especiais;
• "Delimitador", que é justamente a vírgula que separa as colunas;
• E "Detecção de Tipo de Dados". Nesse caso, é feita uma detecção dos tipos de cada coluna e uma formatação baseada em como os dados se comportam.
  • Por exemplo: se forem identificados apenas números em determinada coluna, ela será definida como numérica.

Podemos realizar a carga clicando no botão "Carregar".

Feito isso, teremos nossas duas bases importadas com êxito. Porém, se usarmos um arquivo de extensão .json, teremos a mesma configuração de importação para o Power BI?

Conectando aos datasets - Conexão ao MySQL e JSON

Já nos conectamos às duas primeiras fontes de dados, um arquivo Excel (.xlsx) e outro de extensão .csv. Agora vamos dar continuidade e nos conectar a um banco de dados MySQL.

Conexão ao MySQL

Para isso, vamos clicar novamente sobre a opção "Obter dados" na barra de menu superior, e dessa vez selecionar a opção "Mais…" para visualizar todas as fontes. Será aberta a janela "Obter Dados", onde vamos explorar a seção "Banco de Dados", terceira opção na lateral esquerda.

A princípio, identificamos várias formas de fazer a conexão. Por exemplo:

• Banco de dados SQL Server;
• Banco de dados MySQL;
• Banco de dados PostgreSQL…

Nesse caso, iremos acessar o banco de dados MySQL. Ao clicar duas vezes sobre a opção, seremos redirecionados para uma nova janela, onde precisaremos definir o servidor e o banco de dados disponível, que é justamente a tabela que queremos importar.

Preencheremos os campos da seguinte maneira:

• Servidor: localhost
• Banco de Dados: powerquery

É muito importante que você faça essa estrutura, colocando a base e organizando todo o banco de dados do MySQL, para então conseguir fazer a conexão.

Antes desse vídeo, tivemos uma atividade para ajudar você a montar a estrutura do banco de dados com todos os dados que vamos consumir no Power BI. Lembre-se de acessá-la!

Além desses dois campos, existe uma seção de opções avançadas. Para pessoas que desejem fazer uma query, isto é, uma consulta mais específica dentro do banco de dados, é possível utilizar essa seção, que contém o campo "Instrução SQL", onde conseguimos incluir todos os comandos para fazer a consulta.

No nosso caso, vamos nos conectar a toda a tabela disponível no banco. Então, podemos clicar em "OK" para confirmar a ação e fazer a conexão.

Finalizado o processo, será aberta a janela "Navegador", trazendo o arquivo powerquery.olist_pagamentos.xlsx na pasta "localhost: powerquery". Da mesma forma que fizemos anteriormente, podemos ter uma pré-visualização da tabela:

Exibição das 3 primeiras linhas da tabela. Para visualizá-la na íntegra, acesse o arquivo na sua máquina.

Por fim, vamos selecioná-la, assim como fizemos com o Excel, e clicar em "Carregar". Feito o carregamento da terceira base, vamos seguir para a última: o arquivo de extensão .json.

Conexão ao JSON

Começaremos clicando novamente em "Obter dados". Na janela que será aberta, selecionaremos a quarta opção, "JSON". Após clicar sobre ela duas vezes, vamos selecionar o arquivo olist_produtos.json.

A conexão será feita de forma um pouco diferente dos outros arquivos. Nesse caso, é aberta uma janela contendo um novo nome na parte superior: "Editor do Power Query".

Esse é o ambiente em que passaremos a maior parte do nosso tempo durante o curso, para fazer os tratamentos dos dados.

O arquivo do tipo JSON já traz isso para nós, ou seja, nos direciona para essa janela, pois sabe que precisam ser feitas algumas modificações para obter uma tabela bem-estruturada.

Precisamos conhecer essa área do Power BI, para depois seguir com os tratamentos. Faremos isso na sequência!

Sobre o curso Power BI Desktop: tratamento de dados no Power Query

O curso Power BI Desktop: tratamento de dados no Power Query possui 91 minutos de vídeos, em um total de 43 atividades. Gostou? Conheça nossos outros cursos de Business Intelligence em Data Science, ou leia nossos artigos de Data Science.

Matricule-se e comece a estudar com a gente hoje! Conheça outros tópicos abordados durante o curso:

• Conectando aos datasets
• Power Query Editor
• Continuando os tratamentos
• Finalizando os tratamentos