1

Estoy teniendo problemas con los resultados de classification_report() de sklearn en una clasificación binaria en un data set desbalanceado, este es mi código:

  1. dividir la data en 60% train, 20% validation, 20% teset
from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(x1, y, test_size=0.2, random_state=1)

X_train, X_val, y_train, y_val = train_test_split(X_train, y_train, test_size=0.25, random_state=1)
  1. Sobremuestrear o submuestrear la clase minoritaria (en este caso submuestrear):
from imblearn.under_sampling import RandomUnderSampler
 
rus = RandomUnderSampler(random_state=1)
X_resampled, y_resampled = rus.fit_resample(X_train, y_train)

  1. Entrenar el modelo y predecir con el test (después de haberlo probado con validación cruzada)
model=LogisticRegression()
model.fit(X_sm, y_sm)
y_pred=model.predict(X_test)
  1. Métricas de sklearn (matriz de confusión y classification report)
matrix = confusion_matrix(y_test, y_pred)
print(matrix)

sns.heatmap(matrix, annot=True, cbar=False, linecolor='black',linewidths=0.7, cmap=plt.cm.Blues,fmt='g' )
plt.xlabel('Predicted')
plt.ylabel('Expected')
plt.show()

report = classification_report(y_test, preds)
print(report)

Dando como resultado lo que se observa en la siguiente imagen: introducir la descripción de la imagen aquí

introducir la descripción de la imagen aquí

Entonces mi duda es porque teniendo esa matriz de confusión la precisión de la clase positiva es 0, ¿Estoy haciendo algo mal?

Gracias de antemano por la ayuda

1 respuesta 1

0

¡Tu programación y la representación que haces está bien! Lo único que te falta es saber exactamente como se calculan, y para que sirven las métricas de clasificación que estás usando, además de entender la salida de classification_report().

Voy a dar una respuesta amplia de todo lo que está sucediendo, y explicando la función de precisión por si le sirve a más usuarios de la comunidad.

Output de classification_report()

classification_report() te da un output con dos decimales como máximo, si quieres ampliarlo a más puedes hacer esto.

classification_report(y_test, preds, digits=4) #ampliamos a 4 decimales

Cálculo de "precisión"

[![formula de la precisión][1]][1]
[1]: https://i.stack.imgur.com/dL1SW.png.

Esta formula sirve para saber como de bien, está clasificando tu modelo los resultados positivos. Simplemente selecciona los que han sido clasificados como positivos de forma correcta y los divide entre los positivos totales 197 / (197 + 56.211).

  1. Tus True negative (verdaderos negativos) son 120.979. Es decir el modelo ha clasificado 120.979 negativos, y efectivamente ha acertado porque eran negativos.

  2. Tus false negatives (negativos falsos) son 56.211. Es decir el modelo ha clasificado 56.211 negativos, y ha fallado porque en realidad son positivos.

  3. Tus False Negative (falsos negativos) son 70. Es decir el modelo ha clasificado 70 positivos, y ha fallado porque en realidad son negativos

  4. Tus True positive (verdaderos positivos) son 197. Es decir el modelo ha clasificado 197 positivos, y efectivamente ha acertado porque eran positivos.

Teniendo toda la información anterior en cuenta, aplicamos la fomula de la precisión

True positive (197) / True positive (197) + False Positive (56.211).

Esto nos arroja un resultado de 0.0035. Como classification report por defecto solo nos devuelve dos dígitos, tu resultado es 0.00

Espero haberte ayudado :)

1
  • Justo lo que necesitaba, agradezco tu ayuda!! el 10 dic. 2019 a las 12:40

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.