1

Tengo un DataFrame que contiene datos sobre accidentes laborales y sus causas. En la columna de las causas existen 34 categorías diferentes.

El uso que le voy a dar a esta tabla es para un modelo de clustering de machine learning (KMeans) y quería convertir cada categoría en un número y sustituirlos en la tabla con Pandas o Numpy. Además querría tener una lista con los valores mapeados para conocer después del entrenamiento qué es cada cosa.

Sería el equivalente a lo que hago con SKlearn con:

label_encoding = preprocessing.LabelEncoder()

seguridad['Causa'] = label_encoding.fit_transform(seguridad['Causa'].astype(str))

Como duda añadida: ¿Se supone que el tener una categoría el valor de 30 y otra el de 1 le añadiría más peso al de mayor valor? He leído en algún sitio que por el motivo anterior sería mejor un One Hot Encoding, pero no creo que añadir 34 columnas sea muy eficiente.

Espero haber explicado bien el problema, Gracias de antemano!

1
  • al utilizar one hot encoding se te creará n filas según el número de variables categóricas que tengas, cada una con el valor 0 o 1 según corresponda
    – Christian
    Commented el 18 ago. 2021 a las 0:31

2 respuestas 2

1

Te invito a realizar este micro-curso de kaggle para aclarar rápidamente un poco sobre este tema de 'sustituir datos categóricos en numéricos': categorical variables

Es cierto que utilizar One-hot encoding es menos eficiente que otros métodos, pero es principalmente notable cuando manejas miles de categorías. Si hablamos de 30 etiquetas realmente la diferencia no es mucha en terminos de costo computacional.

Para ello en pandas puedes rápidamente hacerlo de esta forma:

import pandas as pd
data=pd.DataFrame({'color':['red','red','blue','green','blue']})
pd.get_dummies(data)

La salida sería de esta forma, cada color en una columna distinta (One-hot encoding):

    color_blue  color_green color_red
0   0   0   1
1   0   0   1
2   1   0   0
3   0   1   0
4   1   0   0

Ahora si deseas una sola categoría pero remplazando en valores ordinales, depende del tipo de categoría. Si las categorías son jerárquicas tendría valides, por ejemplo; 'bueno', 'muy bueno' y 'excelente' podrían remplazarse con una calificación del 3, 4 y 5 correspondientemente. Pero si son no-jerárquicas no tendría sentido (por ejemplo rojo no es mayor que verde) que una tuviera más valor que otra. En la guía que he puesto al principio lo llaman Ordinal Encoding, vale la pena hacer el micro-curso y el jupyter práctico.

Y sí, definitivamente la magnitud del valor influye en el resultado, la red neuronal interpretaría el '5' (excelente) como un '4' (muy bueno) pero más importante. De eso se encargan los coeficientes paramétricos de la red neuronal (W). Exceptuando ajustes no linealidades.

1
  • Muy interesante ese mini-curso, se agradece! En cuanto a lo del coste computacional, pensaba que al añadirle 34 columnas sería poco eficiente, pero veo que estoy lejos de que ocurra.
    – Daniel
    Commented el 18 ago. 2021 a las 17:30
0

Para hacer la conversión que necesitas debes tener un hash o directorio para relacionar cada número con una de tus categorías. Tendrás que montarlo tu mismo con algún script o a mano:

hashCausas = {
  1: 'Causa1',
  2: 'Causa2',
  ...
  34: 'Causa4'
}

Luego usas .replace(...) para crear una nueva columna y convertir tu columna usando de máscara .keys() y .values() de tu hash:

seguridad['CausaNum'] = seguridad['Causa'].replace(
  # Reemplaza cada valor por el valor en la segunda lista en el mismo índice del match.
  hashCausas.values(), # Lista de Strings
  hashCausas.keys() # Lista de Números
)

Ahora tu segunda duda no te puedo responder, pues no he trabajado suficiente con ML.

2
  • Creo que pandas traía un método para hacer eso (aparte del one hot encoding)
    – Christian
    Commented el 18 ago. 2021 a las 0:32
  • Muchas gracias! También me fue útil esta explicación, pero como me confirmaron arriba que no el modelo no se complica por meterle las columnas de One Hot Encoding, y que tener valores numéricos más altos que otros distorsiona el resultado, optaré por la solución de One Hot. Aún así me servirá para otros casos.
    – Daniel
    Commented el 18 ago. 2021 a las 17:35

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.