Vamos iniciar nosso projeto!
Com o Trello aberto, analisaremos o primeiro card da coluna "A fazer". Note que se chama "Importar e conhecer a base de dados" e nele constam duas tarefas:
- importar os dados;
- explorar as características gerais dos dados.
Passaremos este card para a coluna "Em andamento" e partiremos para a realização das tarefas.
Para isso, usaremos um notebook no Google Colab, chamado de "projeto_imobiliaria.ipynb". Nele, deixamos alguns títulos que correspondem às tarefas que faremos no decorrer do curso. Ele foi disponibilizado para download na atividade anterior a este vídeo.
Utilizaremos a ferramenta Pandas para desenvolver todo o nosso projeto. Trata-se de uma biblioteca para análise de dados em Python, que possui diversos recursos para trabalharmos com dados. Com ela, podemos limpar, manipular, analisar e visualizar os dados.
O primeiro passo será importar a biblioteca Pandas e apelidá-la de pd:
Em seguida, faremos a importação da base. Para isso, usaremos a url que consta em nosso Trello:
Como ela está no formato CSV, podemos utilizar a função read_csv() para realizar a leitura:
url = 'https:
pd.read_csv(url)
Ao executar, nossa base de dados deve ser retornada:
Visualizaçao dos 5 primeiros registros.
| Tipo;Bairro;Quartos;Vagas;Suites;Area;Valor;Condominio;IPTU |
|---|
| 0 | Quitinete;Copacabana;1;0;0;40;1700;500;60 |
| 1 | Casa;Jardim Botânico;2;0;1;100;7000;; |
| 2 | Conjunto Comercial/Sala;Barra da Tijuca;0;4;0;... |
| 3 | Apartamento;Centro;1;0;0;15;800;390;20 |
| 4 | Apartamento;Higienópolis;1;0;0;48;800;230; |
Perceba que possui a estruturação de uma tabela, mas não está bem formatada, pois os dados constam em uma só coluna, separados por ponto e vírgula. Arquivos do tipo CSV têm a vírgula como separador, embora possamos encontrar separadores diferentes, como o ponto e vírgula, que é o caso da nossa base.
A função read_csv() considera, por padrão, que o arquivo lido tem a vírgula como separador. Quando este não é o caso, é necessário especificar, na função, que o arquivo possui um separador diferente:
Na célula seguinte, passaremos novamente o comando de leitura, informando sep, ou seja, o separador:
pd.read_csv(url, sep=';')
Ao executar, nossos dados assumem uma estruturação mais organizada:
Visualizaçao dos 5 primeiros registros.
| Tipo | Bairro | Quartos | Vagas | Suites | Area | Valor | Condominio | IPTU |
|---|
| 0 | Quitinete | Copacabana | 1 | 0 | 0 | 40 | 1700.0 | 500.0 | 60.0 |
| 1 | Casa | Jardim Botânico | 2 | 0 | 1 | 100 | 7000.0 | NaN | NaN |
| 2 | Conjunto Comercial/Sala | Barra da Tijuca | 0 | 4 | 0 | 150 | 5200.0 | 4020.0 | 1111.0 |
| 3 | Apartamento | Centro | 1 | 0 | 0 | 15 | 800.0 | 390.0 | 20.0 |
| 4 | Apartamento | Higienópolis | 1 | 0 | 0 | 48 | 800.0 | 230.0 | NaN |
Agora, podemos salvar esta tabela em uma variável dados e chamá-la para nos certificar que foi salva corretamente:
dados = pd.read_csv(url, sep=';')
dados
Ao executar, temos nosso dataframe:
Visualizaçao dos 5 primeiros registros e do último.
| Tipo | Bairro | Quartos | Vagas | Suites | Area | Valor | Condominio | IPTU |
|---|
| 0 | Quitinete | Copacabana | 1 | 0 | 0 | 40 | 1700.0 | 500.0 | 60.0 |
| 1 | Casa | Jardim Botânico | 2 | 0 | 1 | 100 | 7000.0 | NaN | NaN |
| 2 | Conjunto Comercial/Sala | Barra da Tijuca | 0 | 4 | 0 | 150 | 5200.0 | 4020.0 | 1111.0 |
| 3 | Apartamento | Centro | 1 | 0 | 0 | 15 | 800.0 | 390.0 | 20.0 |
| 4 | Apartamento | Higienópolis | 1 | 0 | 0 | 48 | 800.0 | 230.0 | NaN |
| ... | ... | ... | ... | ... | ... | ... | ... | ... | ... |
| 32959 | Conjunto Comercial/Sala | Centro | 0 | 0 | 0 | 250 | 6500.0 | 4206.0 | 1109.0 |
Note que temos uma linha com reticências, seguida das linhas finais do dataframe. Isso ocorre porque nossa base possui muitos registros. Sendo assim, o que podemos fazer para melhorar essa visualização inicial é solicitar somente os primeiros registros usando o método .head().
Perceba que nos retorna somente os 5 primeiros registros:
| Tipo | Bairro | Quartos | Vagas | Suites | Area | Valor | Condominio | IPTU |
|---|
| 0 | Quitinete | Copacabana | 1 | 0 | 0 | 40 | 1700.0 | 500.0 | 60.0 |
| 1 | Casa | Jardim Botânico | 2 | 0 | 1 | 100 | 7000.0 | NaN | NaN |
| 2 | Conjunto Comercial/Sala | Barra da Tijuca | 0 | 4 | 0 | 150 | 5200.0 | 4020.0 | 1111.0 |
| 3 | Apartamento | Centro | 1 | 0 | 0 | 15 | 800.0 | 390.0 | 20.0 |
| 4 | Apartamento | Higienópolis | 1 | 0 | 0 | 48 | 800.0 | 230.0 | NaN |
Vale ressaltar, porém, que podemos escolher a quantidade de registros que devem ser retornados. Para isso, basta passar o número como parâmetro, por exemplo, dados.head(3) para 3 registros.
Há outro método que também traz uma quantidade específica de linhas, com a diferença que parte dos registros finais. Trata-se do método .tail():
Note que nos retorna os 5 registros finais:
| Tipo | Bairro | Quartos | Vagas | Suites | Area | Valor | Condominio | IPTU |
|---|
| 32955 | Quitinete | Centro | 0 | 0 | 0 | 27 | 800.0 | 350.0 | 25.0 |
| 32956 | Apartamento | Jacarepaguá | 3 | 1 | 2 | 78 | 1800.0 | 800.0 | 40.0 |
| 32957 | Apartamento | São Francisco Xavier | 2 | 1 | 0 | 48 | 1400.0 | 509.0 | 37.0 |
| 32958 | Apartamento | Leblon | 2 | 0 | 0 | 70 | 3000.0 | 760.0 | NaN |
| 32959 | Conjunto Comercial/Sala | Centro | 0 | 0 | 0 | 250 | 6500.0 | 4206.0 | 1109.0 |
Assim como o método anterior, este também nos permite definir a quantidade de registros passando um número como parâmetro.
Para finalizar a importação dos dados, vamos verificar o tipo da variável dados usando a função type():
Como retorno, obtemos o seguinte:
pandas.core.frame.DataFrame
Isso significa que a tabela gerada a partir da leitura dos dados é uma estrutura de dados chamada dataframe. É importante conhecermos essa estrutura porque a utilizaremos no decorrer do nosso projeto!
Agora que finalizamos a importação dos dados, podemos voltar ao card que está em andamento e marcar a tarefa "Importar os dados". A seguir, realizaremos a tarefa seguinte!