Estatística com Python: frequências e medidas

Qual o seu tipo de dado? - Introdução

Boas vindas ao curso Estatística com Python parte 1: Frequências e Medidas!

Sou o instrutor Rodrigo Fernando Dias, e neste treinamento básico aprenderemos algumas técnicas de Descrição de Dados.

Ao longo das aulas, desenvolveremos um projeto de análise descritiva de um conjunto de dados que serão passados em breve.

Utilizaremos o Notebook do Google Colab para termos uma ideia dos tópicos que iremos abordar; começaremos conhecendo o conjunto e os tipos de dados trabalhados em Estatística, como quantitativos e qualitativos.

Em seguida, conheceremos a forma de construir Distribuições de Frequências e suas representações gráficas, conhecidas como Histogramas.

Abordaremos as Medidas de Tendência Central constituídas pela média, mediana e moda, bem como o cálculo dessas estatísticas descritivas por meio das ferramentas oferecidas pelo Python.

Falaremos das Medidas Separatrizes que também possuem a mediana, os quartis, decis e percentis, além de como calculá-los.

Por fim, entenderemos sobre as Medidas de Dispersão, abordando o desvio médio absoluto, a variância e o desvio padrão.

Este curso básico é muito importante para entendermos melhor o funcionamento por debaixo dos panos, e então chegarmos em tópicos mais avançados com maior conhecimento.

A seguir, começaremos a colocar a mão na massa e preparar nosso ambiente. Esperamos que este curso seja bastante proveitoso!

Vamos lá!

Qual o seu tipo de dado? - Preparação do ambiente

Antes de começarmos o conteúdo do curso de fato, falaremos sobre a ferramenta que usaremos neste treinamento.

Usaremos o Google Colab acessível neste link. Logo no começo, teremos uma introdução explicativa e algumas dicas interessantes.

É bastante parecido com o Anaconda ou Jupyter Notebook, mas com esta ferramenta não precisaremos nos preocupar muito com instalações, a não ser que usemos uma versão específica como a que veremos adiante.

Já será possível criarmos um "New Python 3 notebook" clicando em "File" na barra de opções, onde poderemos digitar comandos ou operações, e executá-los com as teclas "Shift + Enter" da mesma maneira feita no Jupyter.

Pode ser que a execução seja um pouco mais lenta, visto que é um recurso online.

No passo anterior, disponibilizamos um link para download de nosso projeto inicial, o qual pode ser acessado aqui.

Quando já estiver baixado e salvo, acessaremos "File > Upload notebook...", e abriremos o notebook Verifica_versão.ipynb caso seja necessário para compararmos a versão desta aula com a que será feita o exercício.

Neste arquivo, importaremos as bibliotecas pandas, numpy, seaborn e scipy, pois as usaremos neste treinamento. Em seguida, imprimiremos as versões que estão sendo utilizadas.

print('Versão do pandas -> %s' % pandas.__version__)
print('Versão do numpy -> %s' % numpy.__version__)
print('Versão do seaborn -> %s' % seaborn.__version__)
print('Versão do scipy -> %s' % scipy.__version__)

A execução das importações pode demorar um pouco. Depois das execuções, veremos que a versão do pandas, numpy, seaborn e scipy são respectivamente 0.22.0, 1.14.6, 0.7.1 e 1.1.0 até esta aula.

Caso o exercício seja feito em uma versão diferente, pode ser que funcione sem problemas. Mas se apresentar alguma questão, é possível voltar para estas versões citadas e tentar rodar novamente.

Para voltarmos com o Pandas por exemplo, bastará digitarmos !pip install pandas seguido de == com a versão desejada entre aspas simples na célula seguinte.

!pip install pandas=='0.22.0'

O sistema rodará o comando e pedirá para reiniciarmos a execução por meio do botão "Restart Runtime" que aparecerá ao final do resultado, então clicaremos neste e em "Yes" na mensagem de confirmação.

Na mesma barra de ferramentas de edição, veremos o escrito "initializing" para indicar o reinício do Runtime. Terminado o processo, rodaremos as células anteriores novamente para vermos se a versão foi alterada na impressão.

Caso usemos sempre um notebook e precisemos retornar para versões anteriores, é interessante executarmos estes comandos logo na primeira célula antes de qualquer outro código. Após o restart, poderemos até apagar o que estava antes da mudança, para então seguirmos adiante com a versão setada para o trabalho.

Em algumas situações, a reinicialização poderá ser necessária de novo. Para este efeito, acessaremos "Runtime > Reset all runtimes..." ou "Runtime > Restart runtime..." que pode ser acionado com teclas "Ctrl + M".

Se tivermos feito o upload de algum arquivo, o comando "Reset all runtimes..." apagará todos os arquivos da memória, então teremos que fazer o upload deles novamente.

Estes macetes serão vistos ao longo do curso, e com o tempo estaremos familiarizados com seu funcionamento.

A seguir, começaremos com a prática e iniciaremos o treinamento de fato.

Até lá!

Qual o seu tipo de dado? - Dataset do projeto

Iniciaremos nosso curso de Estatística na prática.

O projeto inicial pode ser baixado no tópico anterior ou por meio deste link, pois o utilizaremos a partir de agora.

Dentro da pasta "Curso de Estatística", encontraremos dois arquivos: o Curso_de_Estatística_Parte_1.ipynb com o notebook que preparamos para acompanharmos as aulas, e outro dataset dados.csv que usaremos também.

Com o Google Colab aberto, faremos o upload do primeiro acessando "File > Upload notebook...". Na nova janela, acessaremos a opção "Upload" e abriremos o arquivo clicando em "Escolher arquivo".

Entrando em "View > Collapse sections" ou pressionando as teclas "Ctrl + ]" para fecharmos as seções, veremos uma aba lateral com "Table of contents" contendo um sumário com tudo que temos em nosso notebook, o que facilita bastante nosso trabalho.

Neste curso básico, veremos os principais tópicos voltados principalmente às Estatísticas Descritivas, as quais compõe a primeira fase de um processo de análise completo dos dados:

• Conhecendo os Dados;
• Distribuição de Frequências;
• Medidas de Tendência Central;
• Medidas Separatrizes;
• Medidas de Dispersão.

Para começarmos de fato, expandiremos as seções novamente acessando "View > Expand sections" ou pressionando as teclas "Ctrl + [". Com isso, veremos o conteúdo de cada tópico.

O primeiro passo é fazermos o upload do arquivo dataset clicando em "File" na janela lateral. Quando terminar a conexão, clicaremos em "Upload" e escolheremos o dados.csv baixado do projeto inicial.

Após isso, um lembrete aparecerá e clicaremos em "Ok"; precisaremos fazer este procedimento de upload toda vez que fecharmos as seções e reiniciarmos para uma próxima aula, pois o progresso não fica salvo automaticamente no Colab. No passo seguinte, veremos uma maneira de baixar um notebook com as modificações realizadas salvas.

O dados.csv é um conjunto vindo do site do Instituto Brasileiro de Geografia e Estatística (IBGE) . Dentro de "1.1 Dataset do projeto", clicaremos no link da fonte dos dados.

Nesta página, encontraremos os microdados. Adiante, teremos o acesso à pesquisa PNAD 2015 escolhida neste curso, onde cada registro de um microdado é o resultado das próprias entrevistas realizadas. Escolhemos esta porque uma modificação foi feita a partir de 2015, a qual pode ser encontrada no mesmo portal do IBGE caso seja interessante.

Teremos as informações do questionário, pois é o mais agregado dentro de uma pesquisa estatística.

De volta ao nosso notebook Curso_de_Estatística_Parte_1.ipynb, veremos uma descrição básica da Pesquisa Nacional por Amostras de Domicílios de 2015 escolhida, retirada do mesmo site.

Tratamos este dataset utilizando algumas informações disponibilizadas no link de fonte de dados, como a Leitura em R que é um software estatístico bem conhecido. Os outros downloads podem ser feitos para estudos extras, caso queiramos.

Para acompanharmos nossas aulas, usaremos as seguintes variáveis:

• A Renda calculará o rendimento mensal do trabalho principal para pessoas de 10 ou mais anos de idade;

• Idade da moradora ou morador entrevistado contado em anos;

• A Altura foi elaborada para o curso, e a entenderemos melhor adiante;

• UF: Unidades da Federação com os códigos dos estados brasileiros como um dicionário;

• Sexo feminino ou masculino com identificações numéricas também;

• Os Anos de Estudo possuem uma codificação de acordo com a quantidade de tempo estabelecida na tabela;

• Por fim, a Cor identifica a etnia da pessoa entrevistada com códigos.

Adiante no notebook, encontraremos algumas observações importantes para a área de Estatística e Ciência de Dados, pois é bastante interessante documentarmos todo o processo feito com o dataset para usarmos no futuro.

Fizemos a anotação de que eliminamos registros de renda inválidos, os quais aparecem com o código (999 999 999 999) na PNAD 2015.

Também retiramos as missing que representam renda nenhuma ou nula, diferente de zero. Por fim, consideramos apenas os registros das Pessoas de Referência que responderam o questionário por domicílio.

Com isso, poderemos iniciar com a biblioteca Pandas para lermos os dados em .csv e os passarmos para DataFrame. É interessante ter algum conhecimento básico sobre este recurso, mas trabalharemos de maneira bastante simples.

O primeiro passo é importarmos pandas como pd com import na primeira célula da parte "Importando pandas e lendo o dataset do projeto" do notebook.

import pandas as pd

Após executarmos as requisições com "Shift + Enter" ou clicando no ícone de "play" da célula, atribuiremos todo o dataset à variável dados. Chamaremos a biblioteca com pd seguido de read_csv() para lermos o arquivo dados.csv entre aspas simples dentro dos parênteses.

dados = pd.read_csv('dados.csv')

Com isso, o transformaremos em um DataFrame. Apenas para vermos seu tipo, escreveremos type() recebendo dados, e o retorno será pandas.core.frame.DataFrame. Poderemos apagar esta célula depois em seguida.

Para visualizarmos os dados com o Colab, o qual é muito parecido com o Jupyter Notebook, bastará escrevermos dados na célula seguinte e rodarmos.

Como resultado, veremos um conjunto de dados separados para o curso, contendo as colunas UF, Sexo, Idade, Cor, Anos de Estudo, Renda e Altura.

O próximo passo será entendermos quando as variáveis são construídas e como as classificaremos. É importante fazermos isso, porque futuramente algumas delas que forem classificadas de determinadas formas, serão tratadas de maneiras diferentes também.

Sobre o curso Estatística com Python: frequências e medidas

O curso Estatística com Python: frequências e medidas possui 175 minutos de vídeos, em um total de 67 atividades. Gostou? Conheça nossos outros cursos de Estatística em Data Science, ou leia nossos artigos de Data Science.

Matricule-se e comece a estudar com a gente hoje! Conheça outros tópicos abordados durante o curso:

• Qual o seu tipo de dado?
• Distribuição de frequência
• Medidas de tendência central
• Medidas separatrizes
• Medidas de dispersão
• Projeto final