Artigos de Tecnologia e Negócios > Programação

Como remover linhas e colunas no Pandas

Yuri Matheus
Yuri Matheus

Quando estamos trabalhando com dados,principalmente na fase de mineração, realizamos muitas mudanças no dataset.

Existem colunas que não queremos, ou precisamos usar, ou linhas que não contém dados válidos que precisam ser removidas.

Mas quantos mais dados não é melhor?

Quando estamos analisando dados, principalmente para treinar modelos de inteligência artificial, alguns dados podem prejudicar ao invés de ajudar. Por isso, temos que utilizar apenas os dados que fazem sentido para o modelo.

Legal! Já sabemos que precisamos tratar os dados, mas como podemos fazer isso, como remover os dados?

Removendo colunas no Pandas

Estou fazendo uma análise sobre gorjetas em transportes como táxis. Para isso, estou utilizando o Pandas que é uma biblioteca que facilita a manipulação dos dados.

No Pandas, temos um tipo de dado chamado DataFrame. Podemos dizer que um data frame é como uma planilha. Ou seja, temos linhas e colunas.

Podemos ver o começo do conteúdo da planilha utilizando o método head do data frame:

tips.head()

Podemos ver que o DataFrame lembra muito uma planilha. Cada coluna também conhecida como variável tem um nome, e cada linha conhecida como observação tem um índice e os dados que representam cada variável.

Para a análise que eu quero fazer, não preciso saber se as pessoas são fumantes ou não, por isso, não faz necessário analisar a coluna smoker, como podemos removê-la?

A primeira coisa que precisamos fazer é excluir a coluna que nos diz se as pessoas são fumantes ou não. Essa coluna não é necessária para o tipo de análise que queremos fazer. Então vamos removê-la. Mas como?

No Pandas, existe o método drop para os data frames. Nesse método, podemos passar o indice da linha que desejamos remover.:

>>> # no interpretador
>>> tips.drop(2)

Esse comando, removemos a linha de índice 2. Mas não queremos remover uma linha e sim uma coluna. Para isso, basta passar o parâmetro columns, esse parâmetro recebe uma lista com o nome das colunas que desejamos remover, smoker no nosso caso.

Após isso, vamos falar para o Pandas nos mostrar o cabeçalho desse data frame:

tips.drop(columns=['smoker'])
tips.head()

Ué? A coluna ainda está ali. O que aconteceu?

Por padrão, as operações que efetuamos em um DataFrame não afetam ele. Isto é, sempre que removemos uma coluna, linha, etc, o que o Pandas faz é devolver um novo DataFrame sem aquele dado. Ou seja, o DataFrame original se mantém intacto.

O que podemos fazer para resolver isso é atribuir esse data frame que é devolvido pelo método na mesma variável:

tips = tips.drop(columns=['smoker'])
tips.head()

Legal! Conseguimos remover a coluna que precisávamos. Agora, vamos para outra parte do tratamento dos dados. Na análise que estou fazendo, quero analisar as gorjetas de grupos de pessoas. É considerado um grupo quando duas ou mais pessoas estão dentro do veículo.

Como podemos fazer para remover as linhas que não atendem a essa condição?

Removendo linhas

Sabemos que podemos utilizar o método drop() para retirar uma linha. Mas como remover todas as linhas que contém apenas um passageiro?

Podemos fazer um loop e iterar por cada linha no data frame e checar se o número de passageiros é maior que um. Se sim, mantemos esse dado, do contrário, removemos do data frame. Mas qual o problema dessa solução?

Mas o Pandas já tem diversas formas para trabalhar com seus data frames. O que podemos fazer é criar um filtro no qual é retornado um novo DataFrame com os dados já filtrados.

O Pandas permite filtrar um DataFrame pelos dados de sua coluna. Por exemplo, queremos pegar do data frame de gorjetas (tips) a coluna que define o número de passageiros (size) e com base nisso, queremos as linhas nas quais a coluna size é maior que um:

filtro  = tips['size'] > 1

Agora, basta passarmos esse filtro como seletor no DataFrame:

filtro  = tips['size'] > 1
gorgetas_em_grupo = tips[filtro]

Esse filtro nos retorna um DataFrame com as linhas onde o número de passageiros é maior que 1. Ou seja, os dados que passam pelo filtro:

gorgetas_em_grupo.head()

Para saber mais

Os filtros utilizados podem ser mais complexos. Podemos utilizar estruturas condicionais,como o E e OU e checar o valor de mais de uma coluna. Além disso, podemos fazer outros tipos de filtros.

Como checar se alguma linha tem um valor nulo, ou um valor de um tipo diferente do esperado. Para isso, o Pandas utiliza o conceito de comparação rica, ou rich comparison.

Além de remoção, conseguimos fazer outras operações com os data frames, operações que envolvem string, renomear colunas e adicionar colunas novas, juntar um data frame a outro, entre diversas outras operações.

Aqui na Alura, temos uma formação de data science com Pandas. Nele você verá como manipular data frames de diversas formas. Além de ver como criar gráficos, visualizar estatísticas descritivas, tratar dados faltantes e muito mais.

Leia também:

Artigos de Tecnologia e Negócios > Programação

Cursos profissionais de Programação é na Alura, comece agora!

  • 998 cursos

    Cursos de programação, UX, agilidade, data science, transformação digital, mobile, front-end, marketing e infra.

  • Certificado de participação

    Certificado de que assistiu o curso e finalizou as atividades

  • App para Android e iPhone/iPad

    Estude até mesmo offline através das nossas apps Android e iOS em smartphones e tablets

  • Projeto avaliado pelos instrutores

    Projeto práticos para entrega e avaliação dos professores da Alura com certificado de aprovação diferenciado

  • Acesso à Alura Start

    Cursos de introdução a tecnologia através de games, apps e ciência

  • Acesso à Alura Língua

    Reforço online de inglês e espanhol para aprimorar seu conhecimento

Premium

  • 998 cursos

    Cursos de programação, UX, agilidade, data science, transformação digital, mobile, front-end, marketing e infra.

  • Certificado de participação

    Certificado de que assistiu o curso e finalizou as atividades

  • App para Android e iPhone/iPad

    Estude até mesmo offline através das nossas apps Android e iOS em smartphones e tablets

  • Projeto avaliado pelos instrutores

    Projeto práticos para entrega e avaliação dos professores da Alura com certificado de aprovação diferenciado

  • Acesso à Alura Start

    Cursos de introdução a tecnologia através de games, apps e ciência

  • Acesso à Alura Língua

    Reforço online de inglês e espanhol para aprimorar seu conhecimento

12X
R$75
à vista R$900
Matricule-se

Premium Plus

  • 998 cursos

    Cursos de programação, UX, agilidade, data science, transformação digital, mobile, front-end, marketing e infra.

  • Certificado de participação

    Certificado de que assistiu o curso e finalizou as atividades

  • App para Android e iPhone/iPad

    Estude até mesmo offline através das nossas apps Android e iOS em smartphones e tablets

  • Projeto avaliado pelos instrutores

    Projeto práticos para entrega e avaliação dos professores da Alura com certificado de aprovação diferenciado

  • Acesso à Alura Start

    Cursos de introdução a tecnologia através de games, apps e ciência

  • Acesso à Alura Língua

    Reforço online de inglês e espanhol para aprimorar seu conhecimento

12X
R$100
à vista R$1.200
Matricule-se

Max

  • 998 cursos

    Cursos de programação, UX, agilidade, data science, transformação digital, mobile, front-end, marketing e infra.

  • Certificado de participação

    Certificado de que assistiu o curso e finalizou as atividades

  • App para Android e iPhone/iPad

    Estude até mesmo offline através das nossas apps Android e iOS em smartphones e tablets

  • Projeto avaliado pelos instrutores

    Projeto práticos para entrega e avaliação dos professores da Alura com certificado de aprovação diferenciado

  • Acesso à Alura Start

    Cursos de introdução a tecnologia através de games, apps e ciência

  • Acesso à Alura Língua

    Reforço online de inglês e espanhol para aprimorar seu conhecimento

12X
R$120
à vista R$1.440
Matricule-se
Procurando planos para empresas?
Acesso por 1 ano
Estude 24h/dia onde e quando quiser
Novos cursos toda semana