get_dummies vs OneHotEncoder: qual método escolher?

Ao aplicar o procedimento de "one-hot" nessa tabela, teremos o seguinte resultado:

Para realizar esse processo através da linguagem Python, podemos usar o método get_dummies() da biblioteca Pandas ou o método OneHotEncoder() da biblioteca Sklearn. Vamos entender a diferença entre as duas funções.

get_dummies()

O método get_dummies() é simples de utilizar e faz a transformação de forma direta das variáveis categóricas.

Esses dados podem ser passados como dados de entrada de um modelo de machine learning para realizar uma previsão. Porém, imagine que precisamos aplicar o processo para dados novos, contendo uma característica 2, já conhecida, e uma característica 4, que não foi utilizada na construção do modelo. O método get_dummies() não conseguirá gerar todas as colunas necessárias para a previsão. Ele vai considerar como válida uma característica não vista anteriormente e que não será entendida pelo modelo treinado.

OneHotEncoder()

Já o método OneHotEncoder() funciona como outros modelos disponíveis na biblioteca Sklearn. Nele, é necessário instanciar um objeto e depois ajustar aos dados com um método fit(). Dessa forma, esse objeto armazena os passos necessários para realizar a transformação dos dados.

Ao aplicar em novos dados, o método OneHotEncoder() irá construir todas as colunas que foram geradas no treinamento atribuindo valor 0 ou 1, dependendo da presença ou ausência da característica, respectivamente. Logo, esse método é ideal para utilizar em modelos de machine learning.

Assim, a característica 4 contida nos novos dados não se torna uma nova coluna, apenas são atribuídos os valores 0 para cada uma das características utilizadas no momento do treinamento do modelo. Além disso, o processamento que foi criado pelo OneHotEncoder() pode ser armazenado em arquivos pickle, assim como outros modelos de machine learning, para ser utilizado fora do ambiente onde foi criado, permitindo o uso em outros projetos.

Para importar o modelo em outros projetos, basta usar a função pd.read_pickle():

Desse modo, podemos observar que o get_dummies() é fácil de utilizar, mas é preferível para atividades de análises de dados, enquanto o OneHotEncoder() é mais recomendado para aplicar em modelos de machine learning.