Fomos contratados como cientistas de dados júnior na ZOOP, um grande supermercado com franquias em todo o país e reconhecido por vender produtos de alta qualidade.
Estamos na primeira semana de trabalho e toda a equipe de dados está muito focada em uma demanda referente à avaliação trimestral da ZOOP, pois a empresa está finalizando o seu trimestre de operação.
Para auxiliar nas análises, a liderança nos forneceu um dataset que contém informações sobre o total obtido em vendas nos últimos três meses. A partir disso, poderemos fazer uma avaliação e também ajudar nesta demanda.
O objetivo é que realizemos:
- Exploração;
- Limpeza;
- Tratamento de dados;
- Criação de visualização.
Tudo isso de forma com que possamos contribuir com toda a equipe na parte de análise das vendas obtidas durante o trimestre.
Porém, temos um desafio. Como estamos na primeira semana de empresa, ainda nos sentimos um pouco inseguros com as decisões que tomaremos em relação a esses dados.
Sabendo disso, a liderança informou que poderíamos contar com a ajuda do ChatGPT para auxiliar na tomada de decisões, já que ela estará ocupada com as demandas relacionadas a esta avaliação trimestral.
Seguiremos esse direcionamento e utilizaremos um link do GitHub, enviado pela liderança, para termos acesso a esses dados. Vamos analisá-lo.
Ao abrir o arquivo, notamos que ps dados estão estruturados em listas e dicionários, uma característica muito específica de arquivos do tipo JSON. No entanto, para este tipo de estrutura, é muito difícil fazer uma análise. Precisamos acessar esses dados de uma forma mais tabular.
Para isso, precisaremos utilizar algumas ferramentas de programação, usaremos a linguagem Python . Para acessar estes dados, contaremos com a ajuda do ChatGPT que pode nos fornecer uma solução para a leitura deste arquivo em JSON.
Agora, analisaremos nosso notebook. Ele já está personalizado e o usaremos durante todo o projeto. Ao acessá-lo, encontramos uma URL que nos da acesso aos dados JSON, além de prompts que já foram testados no ChatGPT e retornam as melhores respostas.
Leitura de dados JSON e visualização tabular
Testaremos o primeiro prompt para checarmos se o ChatGPT consegue nos auxiliar a acessar esses dados em JSON. O prompt diz:
Vamos atuar como cientistas de dados em uma empresa de supermercados. Recebemos dados no formato de arquivo JSON, estruturados em listas e dicionários. O arquivo está disponibilizado em uma URL do Github. Precisamos analisar esses dados para ajudar nas decisões da empresa. Programamos em Python e conhecemos as bibliotecas de análise de dados Numpy e Pandas. Portanto, priorize o uso dessas bibliotecas. Por favor, nos informe como podemos fazer a leitura desses dados no formato JSON e como podemos visualizá-los em formato de tabela no Python.
Perceba que tentamos fornecer o máximo de detalhes e informações objetivas para que o ChatGPT ajude a solucionar nosso problema.
Copiamos esse prompt. No navegador, acessamos o ChatGPT e fazemos o login. Em seguida, colamos o texto no chat e apertamos "Enter".
Temos o seguinte retorno:
Para ler dados no formato JSON e visualizá-los em formato de tabela no Python, você pode seguir os passos a seguir:
1. Instale as bibliotecas (caso ainda não estejam instaladas):
Você pode instalar as bibliotecas NumPy e Pandas usando o pip:
bash
2. Importe as bibliotecas:
Importe as bibliotecas NumPy e Pandas em seu script Python:
python
import numpy as np
import pandas as pd
//Retorno omitido
Primeiro o ChatGPT informa que é possível acessar dados em JSON e que a primeira etapa que podemos fazer é a instalação de bibliotecas. Como estamos utilizando o Google Colab, essa etapa pode ser omitida, pois as bibliotecas no PyPandas já estão instaladas.
Sendo assim, vamos para a segunda etapa, que é importar essas bibliotecas. Importemos o numpy e o pandas como as ps. Para isso, copiamos o código gerado pelo Chat, voltamos para o notebook e colamos na primeira célula. Em seguida, apertamos "Shift + Enter" para executar.
import numpy as np
import pandas as pd
Feito isso, vamos voltar para o nosso notebook, fazer a seleção do código, pressione Ctrl + V na primeira célula e pressione Shift + Enter para executar.
Segundo o ChatGPT, o próximo passo é ler os dados JSON. Então, ele sugere um código com uma URL, que não usaremos, que é armazenado em uma variável chamada df os dados que foram obtidos em JSON utilizando o pd.read_json(url).
Copiamos esse código e colamos na próxima célula do Colab. Feito isso, excluímos a linha com a URL, pois já temos a URL com nossos dados no início do notebook, que inclusive possui o mesmo nome da variável. O código fica da seguinte forma:
Em seguida, o ChatGPT sugere a visualização dos dados em formato de tabela, utilizando print(df.head()). Copiamos esse código e colamos na mesma célula anterior. Para executar, apertamos "Shift + Enter".
df = pd.read_json(url)
print(df.head())
Como retorno temos uma visualização não muito interessante dos nossos dados. Para visualizarmos de forma tabular, basta removermos o comando print e também os parênteses ao redor dele. Dessa forma:
df = pd.read_json(url)
df.head()
Ao executar essa célula, temos o retorno abaixo:
| item_identificador | loja_identificador | vendas_totais | item | |
|---|
| 0 | FDB08 | OUT018 | 176503.58 | {'item_peso': 6.055, 'item_conteudo_gordura': ... | {'loja_ano_estabelecimento': 2019, 'loja_taman... |
| 1 | DRQ35 | OUT049 | 185758.20 | {'item_peso': 9.3, 'item_conteudo_gordura': 'B... | {'loja_ano_estabelecimento': 2009, 'loja_taman... |
| 2 | FDD14 | OUT018 | 165983.94 | {'item_peso': 20.7, 'item_conteudo_gordura': '... | {'loja_ano_estabelecimento': 2019, 'loja_taman... |
| 3 | FDY37 | OUT045 | 314923.40 | {'item_peso': 17.0, 'item_conteudo_gordura': '... | {'loja_ano_estabelecimento': 2012, 'loja_taman... |
| 4 | FDY59 | OUT018 | 64782.34 | {'item_peso': 8.195, 'item_conteudo_gordura': ... | {'loja_ano_estabelecimento': 2019, 'loja_taman... |
Agora, conseguimos ter uma visualização tabular dos dados sem a estrutura de JSON.
No próximo vídeo, analisaremos os dados para verificar o tipo de informação.
Até lá!