Manipulação de strings no pandas: lower, replace, startswith e contains

Basicamente todo dataframe possui um conjunto de dados que são strings e muitas vezes não reparamos, que são os nomes das colunas: URI, Usuario logado e Status de resposta:

Resultando em:

Eles são nomes razoavelmente descritivos, mas horríveis para acessar. Por exemplo, não conseguimos acessar:

Mas somente:

Claro, não é uma grande perda. Mas temos maiúsculo e minúsculo misturado, não tem um padrão claro. Que tal padronizar todas essas strings?

Para isso pegamos os nomes das colunas e através do atributo str conseguimos transformar todos em caixa baixa (minúsculo):

Resultando nas colunas em minúsculo:

Mas os espaços em branco ainda estão lá. Podemos pegar essa série de dados, usar novamente o str e trocar os espaços por underlines:

Finalmente com as colunas com os nomes que eu desejava:

Se atribuirmos os valores dessas colunas a elas mesmas:

E essa linha de padronização dos nomes das colunas pode ser usado em quase todo projeto logo após importar um csv.

Agora vamos dar uma olhada nas páginas acessadas através de suas URIs:

Agora gostaria de criar uma coluna nova indicando se ao acessar aquela página, o usuário estava querendo comprar algo. Isto é, a URI começa com /compra/? Se sim, True, se não False. Para isso temos a função startswith:

Portanto estamos buscando numa coluna de string/texto pelas linhas que começam com determinado valor. Agora imprimimos com uma query os 5 primeiros elementos que estão com True:

Resultando em:

Para agrupar e contar o número de páginas de compra versus o número de outras páginas, vamos pegar a coluna comprando e somar seus valores:

E percebemos que temos cerca de 9.5% de acessos as páginas de compras:

Por fim, cometemos um erro. Na verdade existem também as páginas de compra como do dia primeiro de abril em /promocao_primeiro_de_abril/compra/plano_basico. Portanto queremos não só as URIs que começam com /compra/ mas que posseum no meio o trecho /compra. Além da função startswith, str nos permite executar diversas outras funções, como contains:

Agora sim, criamos a coluna nova de acordo com quaisquer páginas que possuem o trecho /compra/ em sua URI.

Resumindo, sempre que precisar trabalhar com uma coluna do tipo string, para extrair valores dela, fazer transformações de string para string, dê uma olhada na documentação da str para ver se ela já possui o que você deseja fazer. São algumas dezenas de funções.

O notebook com todo o conteúdo desse post pode ser encontrado no github.

Dentra da Alura disponibilizamos diversos cursos de Python, Pandas, Data Science e Machine Learning, onde vamos muito além da manipulação inicial dos dados.