Iniciaremos o nosso processo de exploração dos dados e como relacioná-los a fim de construir visuais. Para agilizar nossas análises, utilizaremos o auxílio da ferramenta do ChatGPT.
Utilizando o ChatGPT como assistente
O nosso desafio é o seguinte: temos duas bases: clientes e vendas, que estão separadas pelo código identificador da compra, no ano de 2023. Além disso, precisamos entender quais são esses dados e quais insights podemos obter para que possamos construir visuais a partir desses valores. E como vamos fazer essa relação também desses dados entre as tabelas.
Começaremos trabalhando com o nosso primeiro prompt do ChatGPT. No documento do Colab, já possuímos prompts que foram previamente testados, seguindo todo o fluxo da exploração do dado até a criação do visual.
Utilizaremos esses prompts para copiá-los, colá-los dentro do ambiente do ChatGPT e trazer os códigos que foram gerados a partir da leitura, da compreensão dos prompts que foram colocados nesse ambiente generativo.
É fundamental ressaltar que o código gerado, assim como as instruções fornecidas pelo ChatGPT, podem variar entre indivíduos. Contudo, é sempre recomendável realizar testes para garantir a eficácia da ideia proposta na pergunta e sua coerência dentro do contexto do storytelling que estamos desenvolvendo.
Analisando a base de clientes
Começaremos primeiro analisando a base de clientes. Temos no Colab um prompt pronto para colocar os dados dos clientes.
Prompt retirado do Google Colab:
Vamos atuar como analista de dados de um e-commerce. Recebemos duas bases de dados com os dados dos clientes e das vendas em 2023, respectivamente.
Neste primeiro momento, vamos explorar a base clientes no formato de um DataFrame, chamado "clientes". Ela contém dados dos clientes que realizaram comprar na loja virtual, sendo eles: ID da compra, ID do cliente, a cidade, estado e região da compra, idade, sexo biológico, se participam do programa de cashback e avaliação da compra.
Queremos fazer uma breve exploração dos dados para compreender um pouco sobre eles. Lembrando que os dados desta base já estão limpos e tratados. Construa um código para executar esta etapa usando o Python.
Não é necessário utilizar "print()" para mostrar o resultado das consultas.
O prompt nos diz:
"Vamos atuar como analista de dados de um e-commerce. Recebemos duas bases de dados com os dados dos clientes e das vendas em 2023, respectivamente. Neste primeiro momento, vamos explorar a base de clientes no formato de DataFrame chamado clientes.
Observe que já coloquei o nome "clientes" entre aspas para garantir que, ao gerar o código, o ChatGPT não utilize um nome genérico como "dados" ou "DF". Assim, ele utilizará o nome "clientes", conforme desejado.
Continuando: "Ela contém dados dos clientes que realizaram compra na loja virtual sendo eles: ID da compra, ID do cliente, a cidade, estado e região da compra, idade e sexo biológico, se participam do programa de cashback e a avaliação da compra".
Seguindo: "desejamos realizar uma breve análise exploratória dos dados para obter uma compreensão inicial. É importante ressaltar que os dados nesta base já foram previamente limpos e tratados". Portanto, não será necessário fornecer códigos para limpeza ou tratamento de dados. Nosso foco é exclusivamente explorar esses dados de forma rápida e eficaz.
Continuando: "Construa um código para executar essa etapa usando Python". Então, já indicamos, por padrão, normalmente ele vai entregar em Python, mas é sempre importante deixar isso claro.
Seguindo: "não é necessário utilizar print() para mostrar o resultado das consultas". Isso porque senão ele vai ficar criando variáveis com os resultados e depois printar essa variável. Assim, estamos garantindo que o código vai ser um pouco mais conciso e ele vai direto ao ponto só realmente fazendo essa exploração do meu dado.
Então, vamos agora enviar esse prompt para o ChatGPT, copiar e colar lá, e verificar o que ele produziu. Aqui está o código resultante:
# Exibindo as primeiras linhas do DataFrame para entender a estrutura dos dados
clientes.head()
Obtendo informações gerais sobre o DataFrame, como tipos de dados e valores não nulos
clientes.info()
Estatísticas descritivas para variáveis numéricas
clientes.describe()
Contagem de clientes por sexo
clientes['sexo_biologico'].value_counts()
Média de idade dos clientes
clientes['idade'].mean()
Contagem de clientes por região
clientes['regiao'].value_counts()
Avaliação média das compras
clientes['avaliacao_compra'].mean()
Verificando a participação no programa de cashback
clientes['cashback'].value_counts()
Eu trouxe diretamente para o Colab porque estamos organizando por blocos para executar cada etapa separadamente.
Fiz algumas pequenas alterações, como substituir "sexo biológico" por sexo_biológico, pois o ChatGPT não trouxe o termo exato. Além disso, removi a parte referente à importação e leitura dos dados, pois isso já foi feito em aulas anteriores.
É importante mencionar que, para executar este código aqui, é necessário ter previamente executado o código anterior lá em cima, o qual cria a variável clientes, também conhecida como df_clientes, para que possamos utilizá-la nesta parte do código.
Se por acaso o documento foi fechado ou se passou muito tempo desde a última execução, basta voltar ao topo do documento, na seção de "Ambiente de execução", e selecionar a opção "executar antes" (atalho "Ctrl + F8"). Isso executará todos os códigos anteriores ao atual, permitindo-nos então executar este código sem problemas.
Exibindo a tabela de clientes
Temos como primeira etapa:
Executamos a célula.
Na primeira etapa, ele está exibindo as primeiras linhas. Esse mesmo processo que fizemos vai mostrar os 5 primeiros registros que temos do nosso clientes. Isso já foi feito, inclusive, no vídeo anterior.
Retorno da primeira etapa:
| # | ID_compra | ID_cliente | cidade | uf | regiao | idade | sexo_biologico | cashback | avaliacao_compra |
|---|
| 0 | 904 | 8972 | Natal | Rio Grande do Norte | Nordeste | 49 | Masculino | Não | 9 |
| 1 | 4613 | 5120 | São Paulo | São Paulo | Sudeste | 49 | Feminino | Não | 9 |
| 2 | 5579 | 1847 | São Paulo | São Paulo | Sudeste | 24 | Feminino | Não | 8 |
| 3 | 2405 | 2846 | São Paulo | São Paulo | Sudeste | 38 | Feminino | Sim | 7 |
| 4 | 2485 | 2715 | Salvador | Bahia | Nordeste | 30 | Feminino | Não | 10 |
Obtendo informações gerais
No segundo, ele vai trazer o clientes.info(). Ou seja, ele está obtendo algumas informações gerais sobre os dataframes, verificando se ele tem valores nulos, verificando a quantidade de registros que tem, quantidade de colunas. São informações mais gerais do nosso dataframe.
Se examinarmos este contexto, o que encontraremos?
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 6169 entries, 0 to 6168
Data columns (total 9 columns):
| # | Column | Non-Null Count | Dtype |
|---|
| 0 | ID_compra | 6169 non-null | int64 |
| 1 | ID_cliente | 6169 non-null | int64 |
| 2 | cidade | 6169 non-null | object |
| 3 | uf | 6169 non-null | object |
| 4 | regiao | 6169 non-null | object |
| 5 | idade | 6169 non-null | int64 |
| 6 | sexo_biologico | 6169 non-null | object |
| 7 | cashback | 6169 non-null | object |
| 8 | avaliacao_compra | 6169 non-null | int64 |
dtypes: int64(4), object(5)
memory usage: 433.9+ KB
Temos um total de 6.169 entradas, as quais podem ser entendidas como registros de compras ou, mais precisamente, de clientes.
No entanto, é importante destacar que se trata realmente de registros de compras, pois alguns clientes podem estar repetidos. Portanto, estamos considerando o número total de transações realizadas, independentemente do número de clientes envolvidos.
A faixa dos índices vai de 0 a 6.168. Nossos dados consistem em 9 colunas, cada uma delas descritas aqui. Importante ressaltar que não encontramos valores nulos, pois esta é uma coluna que não possui esses tipos de valores, garantindo que todos os dados estejam completamente preenchidos.
Além disso, observamos que as colunas ID_compra, ID_cliente, idade e avaliacao_compra estão no formato int (inteiro); enquanto, cidade, uf, regiao, sexo_biológico e cashback estão no formato object, indicando variáveis categóricas, textuais ou alfanuméricas.
Essas observações iniciais nos fornecem uma compreensão preliminar dos dados e de seus formatos.
Estatísticas descritivas para variáveis numéricas
Aqui, temos outro trecho de código que envolve o clientes.describe().
O que exatamente é o describe? O describe realiza uma análise estatística descritiva das variáveis numéricas. Em outras palavras, ele extrai estatísticas como mínimo, máximo, quartis (25%, 50%, 75%), mediana e desvio padrão das variáveis numéricas presentes, que no caso são ID_compra, ID_cliente, idade e avaliacao_compra. Esses dados são então apresentados de forma resumida em uma única tabela.
| # | ID_compra | ID_cliente | idade | avaliacao_compra |
|---|
| count | 6169.000000 | 6169.000000 | 6169.000000 | 6169.000000 |
| mean | 3085.000000 | 5461.475280 | 38.260010 | 8.443670 |
| std | 1780.981237 | 2610.959977 | 9.838951 | 1.730584 |
| min | 1.000000 | 1005.000000 | 18.000000 | 0.000000 |
| 25% | 1543.000000 | 3148.000000 | 31.000000 | 8.000000 |
| 50% | 3085.000000 | 5436.000000 | 38.000000 | 9.000000 |
| 75% | 4627.000000 | 7748.000000 | 45.000000 | 9.000000 |
| max | 6169.000000 | 9999.000000 | 70.000000 | 10.000000 |
Conseguimos notar aqui na tabela que, por exemplo, ID_compra e ID_cliente, ele é um número, só que é um código identificador. Então, não faz muito sentido analisar média, mediana, desvio padrão, de um número que é só para identificar a compra ou o cliente.
Então, talvez as duas colunas que façam sentido seriam a idade e a avaliacao_compra. Assim, conseguimos ter coisas interessantes, como, por exemplo, em idade, temos o cliente mais novo, tendo 18 anos, e o mais velho, tendo 70.
Temos também a média dos nossos clientes, em 38.2, por exemplo, e temos também na avaliacao_compra, a média de avaliação em 38.4, sendo que tem a avaliação que foi zero, do produto, e a avaliação que também foi dada a nota máxima, a nota 10.
Contagem de clientes por sexo
Continuando, aqui também realizamos a contagem de clientes por sexo.
# Contagem de clientes por sexo
clientes['sexo_biologico'].value_counts()
Obtemos como retorno:
- Feminino 3371
- Masculino 2798
- Name: sexo_biologico, dtype: int64
Então, o que acontece é o seguinte: utilizamos o método value_counts() na coluna clientes[sexo_biológico], onde constatamos que há 3.371 clientes do sexo feminino e 2.798 do sexo biológico masculino, indicando uma maior representação do público feminino.
Média de idade dos clientes
# Média de idade dos clientes
clientes['idade'].mean()
Como retorno, temos:
38.2600097260496
Além disso, calculamos a média de idade dos clientes, que é obtida através de clientes['idade'].mean(). Essa média é de 38.2, conforme mencionado anteriormente na descrição estatística.
Contagem de clientes por região
# Contagem de clientes por região
clientes['regiao'].value_counts()
Como retorno, temos:
| # | # |
|---|
| Sudeste | 2666 |
| Nordeste | 1882 |
| Sul | 819 |
| Centro-Oeste | 495 |
| Norte | 307 |
| Name: | regiao, dtype: int64 |
Também faz a contagem dos clientes por região, então ele pega o clientes['regiao'] e faz um value_counts().
Portanto, podemos observar que 2.666 clientes são provenientes da região Sudeste, seguidos por 1.882 do Nordeste, e assim por diante, com números decrescentes para as regiões Sul, Centro-Oeste e Norte.
É importante ressaltar aqui, como mencionei anteriormente, que quando falamos sobre a qualidade da compra, não estamos necessariamente contando 2.666 clientes distintos, mas sim clientes que residem na região Sudeste e realizaram uma compra. Portanto, um único cliente pode ter feito múltiplas compras dentro da Zoop.
Avaliação média das compras
# Avaliação média das compras
clientes['avaliacao_compra'].mean()
Temos, como retorno:
8.44366996271681
Seguindo adiante, também teremos a etapa de avaliação, na qual ele calcula a média das avaliações dos clientes utilizando clientes['avaliacao_compra'].mean(). Portanto, ele examinará a avaliação média, que foi de 8.44, como já observamos anteriormente no describe.
Verificando a participação no programa de cashback
Por fim, ele também verificou a participação no programa de cashback.
# Verificando a participação no programa de cashback
clientes['cashback'].value_counts()
Como retorno, temos:
| # | # |
|---|
| Não | 3557 |
| Sim | 2612 |
| Name | cashback, stype: int64 |
Então ele fez um value_counts() da coluna cashback, e ele previu que 3.557 é não, e 2.612 são sim. Ou seja, tem mais gente que não participa do nosso programa de cashback do que participa. E isso pode ser um tipo de variável bem interessante, um tipo de visualização que podemos trazer dentro do nosso projeto.
Vamos agora para vendas.
Analisando vendas
Também criamos um prompt para isso. E esse prompt, vai trazer um pouco das coisas que estavam no outro.
Agora vamos explorar a base de vendas no formato de um DataFrame, chamado "vendas". Ela contém dados das vendas do e-commerce, sendo eles: ID da compra, data da compra, horário da compra, categoria do produto, preco unitário do produto, quantidade vendida, frete e o método do pagamento.
Queremos fazer uma breve exploração dos dados para compreender um pouco sobre eles. Lembrando que os dados desta base também já estão limpos e tratados. Construa um código para executar esta etapa usando o Python.
Então estamos passando que vamos explorar a base de vendas no formato de DataFrame, chamado vendas, então estamos dando o nome que queremos.
Mencionamos quais são os dados que temos: ID da compra, a data da compra, o horário da compra, a categoria do produto, o preço unitário do produto, a quantidade vendida, o frete e o método do pagamento que temos.
E faremos uma breve exploração. Já deixamos claro novamente que não queremos lidar com a limpeza e tratamento dos dados, pois já os realizamos. E desejamos isso no código Python.
Observe que aqui não precisamos incluir o print(), por exemplo, para não adicioná-lo. Isso porque ele já interpretou que o código anterior segue um certo padrão. Portanto, se não pedi print anteriormente, pode ser que eu não queira print neste caso. Ele entenderá isso e me fornecerá sem a necessidade de eu explicitamente mencionar aqui.
Rodamos esse código de novo e colamos no Colab o código para a execução e a exploração do dado da base de vendas.
# Exibindo as primeiras linhas do DataFrame para entender a estrutura dos dados
vendas.head()
Obtendo informações gerais sobre o DataFrame, como tipos de dados e valores não nulos
vendas.info()
vendas["data"] = pd.to_datetime(vendas["data"], format="%Y-%m-%d")
Estatísticas descritivas para variáveis numéricas
vendas.describe()
Contagem de vendas por categoria de produto
vendas['categoria'].value_counts()
Preço médio unitário dos produtos
vendas['preco_unitario'].mean()
Quantidade total de produtos vendidos
vendas['quantidade'].sum()
Valor total do frete arrecadado
vendas['frete'].sum()
Métodos de pagamento utilizados e suas frequências
vendas['metodo_pagamento'].value_counts()
Nosso código está pronto e já está disponível aqui. Então, ele vai seguir a mesma lógica do anterior.
Exibindo as primeiras linhas do DataFrame
Usaremos vendas.head() para visualizar os cinco primeiros valores e já podemos fazer isso agora.
Como retorno, temos:
| # | ID_compra | data | horario | categoria | preco_unitario | quantidade | frete | metodo_pagamento |
|---|
| 0 | 6 | 2023-01-03 | 20:40 | Eletrônicos | 4457.9 | 4 | 713.26 | Boleto |
| 1 | 5 | 2023-01-03 | 21:48 | Ferramentas e construção | 115.9 | 1 | 0.00 | PIX |
| 2 | 9 | 2023-01-03 | 17:08 | Beleza e cuidados pessoais | 68.9 | 2 | 13.78 | Cartão de Crédito |
| 3 | 4 | 2023-01-03 | 14:29 | Ferramentas e construção | 80.9 | 5 | 40.45 | PIX |
| 4 | 8 | 2023-01-03 | 18:02 | Beleza e cuidados pessoais | 165.0 | 4 | 0.00 | PIX |
Obtendo informações gerais sobre o DataFrame
Além disso, vamos conferir o info, onde obtemos informações gerais.
Temos, como retorno:
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 6169 entries, 0 to 6168
Data columns (total 8 columns):
| # | Column | Non-Null Count | Dtype |
|---|
| 0 | ID_compra | 6169 non-null | int-64 |
| 1 | data | 6169 non-null | object |
| 2 | horario | 6169 non-null | object |
| 3 | categoria | 6169 non-null | object |
| 4 | preco_unitario | 6169 non-null | float64 |
| 5 | quantidade | 6169 non-null | int64 |
| 6 | frete | 6169 non-null | float64 |
| 7 | metodo_pagamento | 6169 non-null | object |
dtypes: float64(2), int64(2), object(4)
memory usage: 385.7+ KB
Ao contrário do anterior, notamos que algumas variáveis aqui são do tipo float, como preco_unitario e frete. E percebemos que a variável data está no formato object. Se quisermos trabalhar com gráficos mais voltados para séries temporais, faz muito sentido converter essa coluna data para o tipo datetime.
Então vamos fazer isso. Já que esse processo na importação ele não fez.
Então clicamos aqui em "+ código" e colocamos a seguinte forma: vendas, abre e fecha colchetes, abre e fecha aspas.Inserimos vendas_data, que é o nome da coluna.
Copiamos de novo que precisaremos posteriormente. Vai ser igual a pd.pd.to_datetime(), abre e fecha parênteses. Passamos vendas["data"] porque desejamos transformar vendas["data"] para o datetime e passar para o novo vendas_data.
No formato, esse format que colocamos, inserimos o formato que está no nosso dado.
Ou seja, em que formato está a nossa data? Ela está ano com quatro dígitos, mês com dois dígitos, dia com dois dígitos, separados por traços. Então passamos por format, o que? Sinal de porcentagem Y, porque são anos com quatro dígitos, sinal de porcentagem M para mês e sinal de porcentagem D.
vendas["data"] = pd.to_datetime(vendas["data"], format="%Y-%m-%d")
Executamos a célula.
E aqui ele entenderá que é necessário converter aquela data para o formato datetime.
datetime64[ns]
Para verificar se tudo está correto, executamos novamente o info, pois ele mostrará o tipo de dado atual. Já podemos observar que agora é do tipo datetime.
Estatísticas descritivas para variáveis numéricas
Continuando, vamos ver o describe, que é a mesma coisa.
Temos como retorno:
| # | ID_compra | preco_unitario | quantidade | frete |
|---|
| count | 6169.000000 | 6169.000000 | 6169.000000 | 6169.000000 |
| mean | 3085.000000 | 873.234738 | 3.004863 | 119.233832 |
| std | 1780.981237 | 1852.064342 | 1.420725 | 366.149225 |
| min | 1.000000 | 2.900000 | 1.000000 | 0.000000 |
| 25% | 1543.000000 | 44.900000 | 2.000000 | 0.320000 |
| 50% | 3085.000000 | 93.900000 | 3.000000 | 7.550000 |
| 75% | 4627.000000 | 221.900000 | 4.000000 | 29.240000 |
| max | 6169.000000 | 8000.000000 | 5.000000 | 4521.540000 |
O id_compra é redundante, pois serve apenas como um número de identificação. Portanto, vamos considerar as variáveis preço, quantidade e frete, incluindo estatísticas como mínimo, máximo, quartis, mediana e média. É importante examinar esses números com atenção para identificar possíveis insights interessantes.
# Contagem de vendas por categoria de produto
Temos também a parte de contagem das vendas que ele faz.
vendas['categoria'].value_counts()
Ao rodarmos, obtemos:
| # | # |
|---|
| Alimentos e bebida | 1495 |
| Beleza e cuidados pessoais | 1062 |
| Casa e limpeza | 1041 |
| Eletrodomésticos | 665 |
| Eletrônicos | 580 |
| Papelaria e escritório | 551 |
| Ferramentas e construção | 474 |
| Livros | 301 |
| Name: | categoria, dtype: int64 |
Ele vai contar por categoria e, em seguida, realizará um value_counts sobre ela. Aqui podemos observar que ele categorizou de forma abrangente, indo desde alimentos até livros, e então contou a quantidade de vendas de cada categoria, não o valor das vendas.
Preço médio unitário dos produtos
Aqui embaixo ele pegou o preco_unitario dos produtos.
# Preço médio unitário dos produtos
vendas['preco_unitario'].mean()
Temos como retorno:
873.2347382071648
Ele calculou uma média do preço unitário dos produtos, determinando-a a partir dos preços mais baixos até os mais altos.
Quantidade total de produtos vendidos
Além disso, determinou a quantidade total de produtos vendidos, contabilizando todas as vendas, independentemente do número de itens vendidos por transação, totalizando 18.500 unidades.
vendas['quantidade'].sum()
18537
Valor total do frete arrecadado
Também realizou o cálculo do valor total do frete arrecadado, resultando em um faturamento de 735.553,51 reais apenas com as taxas de entrega.
735553.51
Métodos de pagamento utilizados e suas frequências
E também ele fez aqui uma frequência para distribuir os métodos de pagamento.
# Métodos de pagamento utilizados e suas frequências
vendas['metodo_pagamento'].value_counts()
| # | # |
|---|
| Cartão de Crédito | 2851 |
| PIX | 2244 |
| Cartão de Crédito | 547 |
| Boleto | 527 |
| Name | metodo_pagamento, dtype: int64 |
Podemos observar que o cartão de crédito é o método de pagamento mais utilizado pelos clientes, seguido pelo PIX, cartão de débito e boleto.
Conclusão e Próximos Passos
Já exploramos os dados e entendemos um pouco mais sobre eles, utilizando a IA do ChatGPT.
Agora, o nosso próximo passo é unir as tabelas e pensar em quais visuais podemos utilizar para gerar os gráficos que vão ser utilizados no relatório da Zoop. Nos vemos no próximo vídeo.