Trabalhamos na equipe de dados de um banco online chamado Bytebank. Recentemente, foram identificadas diversas reclamações de fraudes entre transações financeiras no nosso banco.
Para evitar perder clientes e lucro financeiro, nossa liderança solicitou que criássemos um novo modelo de machine learning, baseado em árvores, capaz de detectar efetivamente essas fraudes.
Simultaneamente a essa demanda, foi pedido que desenvolvêssemos esse modelo com uma certa urgência, devido aos prejuízos já sofridos pelo banco. Então, recebemos os dados da equipe e esses dados devem ser utilizados para treinar e avaliar o modelo que vamos construir.
Você pode fazer o download desses dados em um arquivo CSV nas atividades deste curso.
Ajustando os dados
Precisamos entender como esses dados estão estruturados antes de enviá-los para um modelo de machine learning, pois nem todo formato de dado pode ser enviado para um modelo.
Para ter essa certeza, vamos verificar os dados no ambiente Python que é o Google Colab, ferramenta que utilizaremos para essa verificação.
Fazendo o upload do arquivo
Com o Google Colab aberto, vamos nos preparar para fazer o upload do arquivo. Para isso, na barra lateral esquerda, selecionamos o botão "Arquivos", que é um ícone de pasta.
No nosso caso, o ambiente já está conectado. Caso o seu ainda não esteja, conecte-o antes de inserir o arquivo. Podemos fazer o upload do arquivo CSV que acabamos de receber da equipe de dados.
Para fazer isso, clicamos no primeiro botão, intitulado "Fazer upload para o armazenamento da sessão" e representado por um papel com uma seta para cima. Após clicar nele, selecionamos o arquivo que vamos importar. No caso, é o arquivo data_fraude_banco.csv.
Finalizado o upload, fechamos a aba "Arquivos" e agora podemos utilizar a biblioteca Pandas do Python, que é muito eficaz para importar e trabalhar com os dados, principalmente em arquivos CSV.
Importando a biblioteca Pandas
Vamos importar essa biblioteca no Google Colab com o comando abaixo:
Importando os dados
Agora vamos importar nossos dados para um dataframe que vamos chamar de df, então, inserimos df = pd.read_csv(). Feito isso, vamos abrir novamente a aba "Arquivo".
À direita do arquivo data_fraude_banco.csv, vamos clicar nos três pontos e selecionar a opção "Copiar caminho". Depois, entre os parênteses do método read_csv(), colamos entre aspas simples o caminho do arquivo. Por fim, inserimos df na linha abaixo para visualizar esse dataframe.
df = pd.read_csv('/content/drive/MyDrive/Alura/data_fraude_banco.csv')
df
Visualização dos cinco primeiros registros da tabela. Para visualizá-la na íntegra, execute o comando na sua máquina.
| # | passo | valor | antigo_saldo_pessoa1 | novo_saldo_pessoa1 | antigo_saldo_pessoa2 | novo_saldo_pessoa2 | tipo_transacao | fraude |
|---|
| 0 | 1 | 181.00 | 181.00 | 0.0 | 0.00 | 0.00 | transferencia | 1 |
| 1 | 1 | 181.00 | 181.00 | 0.0 | 21182.00 | 0.00 | saque | 1 |
| 2 | 1 | 2806.00 | 2806.00 | 0.0 | 0.00 | 0.00 | transferencia | 1 |
| 3 | 1 | 2806.00 | 2806.00 | 0.0 | 26202.00 | 0.00 | saque | 1 |
| 4 | 1 | 20128.00 | 20128.00 | 0.0 | 0.00 | 0.00 | transferencia | 1 |
Conseguimos ter uma visualização resumida dos dados e observamos quais são as colunas do dataframe. Temos as colunas passo, valor, antigo_saldo_pessoa1, novo_saldo_pessoa1, antigo_saldo_pessoa2, novo_saldo_pessoa2, tipo_transacao, e fraude, sendo esta a coluna-alvo.
Para saber o que representa cada uma dessas colunas, deixamos o dicionário de dados na atividade desse curso. Recomendamos que você verifique!
Transformando os dados
Como cientistas de dados, sabemos que para os dados serem enviados para o modelo de machine learning, eles precisam estar estruturados em um formato tabular, onde cada linha representa uma amostra, uma observação, e cada coluna representa uma característica dessa observação.
Porém, também sabemos que dentro dessas características, é importante existirem valores numéricos, pois é assim que a máquina e, consequentemente, o modelo, vão entender esses dados, encontrar um padrão para eles, e assim por diante.
Identificamos nos nossos dados uma coluna chamada tipo_transacao, e nessa coluna, temos vários dados categóricos em formato de texto. Não podemos levar os dados dessa forma para o modelo, precisaremos transformá-los para o numérico. Uma técnica muito utilizada para isso é a OneHotEncoder, que vai transformar os dados textuais em dados numéricos.
Conseguimos fazer isso utilizando o método get_dummies(). Vamos aplicá-lo ao nosso dataframe. Então, inserimos df = pd.get_dummies(df). Na linha abaixo, vamos adicionar df para visualizar.
df = pd.get_dummies(df)
df
Visualização dos cinco primeiros registros da tabela. Para visualizá-la na íntegra, execute o comando na sua máquina.
| # | passo | valor | antigo_saldo_pessoa1 | novo_saldo_pessoa1 | antigo_saldo_pessoa2 | novo_saldo_pessoa2 | fraude | tipo_transacao_debito | tipo_transacao_deposito | tipo_transacao_pagamento | tipo_transacao_saque | tipo_transacao_transferencia |
|---|
| 0 | 1 | 181.00 | 181.00 | 0.0 | 0.00 | 0.00 | 1 | 0 | 0 | 0 | 0 | 1 |
| 1 | 1 | 181.00 | 181.00 | 0.0 | 21182.00 | 0.00 | 1 | 0 | 0 | 0 | 1 | 0 |
| 2 | 1 | 2806.00 | 2806.00 | 0.0 | 0.00 | 0.00 | 1 | 0 | 0 | 0 | 0 | 1 |
| 3 | 1 | 2806.00 | 2806.00 | 0.0 | 26202.00 | 0.00 | 1 | 0 | 0 | 0 | 1 | 0 |
| 4 | 1 | 20128.00 | 20128.00 | 0.0 | 0.00 | 0.00 | 1 | 0 | 0 | 0 | 0 | 1 |
Agora, temos todas as colunas numéricas no dataframe. Essa é a única transformação que precisamos fazer no dataframe para poder utilizar os dados e aplicá-los no modelo de machine learning.
Transformando em CSV
O próximo passo é transformar o dataframe em um arquivo CSV para fazer o download dele. Em uma nova célula, vamos inserir df.to_csv(), método que vai permitir criar um novo arquivo CSV com base nesse dataframe. Entre parênteses, vamos colocar o nome do arquivo inicialmente, dados_fraude_numerico.csv.
Feito isso, inserimos uma vírgula e definimos o parâmetro index como False. Isso vai permitir que a coluna index do Pandas, que tem 0, 1, 2, 3 como índices das linhas, não se transforme em uma coluna.
df.to_csv('dados_fraude_numerico.csv', index=False)
Após executar essa célula com "Shift + Enter", abrimos novamente a aba "Arquivos" e já temos o novo arquivo CSV (dados_fraude_numerico.csv).
Para fazer o download, clicamos nos três pontos e selecionamos a opção "Fazer download". Vamos fazer esse download para aplicar um modelo de machine learning nele.
Conclusão
Nossa liderança nos informou que precisamos construir esse modelo com velocidade. Para isso, sugeriram utilizar uma ferramenta do H2O.ai.
Vamos conhecer essa ferramenta no próximo vídeo!