1

Soy nuevo realizando modelos en machine learning y estoy entrenando un dataset para que, según el contenido de un relato efectuado por personas, el modelo discrimine si se trata de un reclamo o de una alerta.

En una base (la que usaré para entrenar el modelo), tengo cerca de 800 mil reclamos, mientras que alertas tengo solo 9 mil.

Hice el procedimiento habitual para estos modelos, de separar en train, test, etc etc, logrando un accuracy de 98% usando SVC. Sin embargo, siento que el modelo no está realizando una buena clasificación del texto, ¿Por qué me clasifica como alerta, relatos que corresponden a reclamos?

¿Alguien me podría decir cuales son los errores para que pasen cosas asi?

Yo siento que se debe a que el numero de reclamos es demasiado grande comparado con los de alertas, por lo que deberia extraer un dataset más pequeño, con una muestra estratificada para trabajar mejor, pero no sé...

Adjunto el código de la parte más machine learning que usé para esto. Lo anterior es más que nada el cargado de la base con la que trabajé:

demo_vectorizer = CountVectorizer(
    tokenizer = tokenize,
    binary = True
)

from sklearn.model_selection import train_test_split
train_text, test_text, train_labels, test_labels = train_test_split(base["Relato"], base["Tipo"],stratify=base["Tipo"],test_size=0.20)
print(f"Training: {len(train_text)}, Testing {len(test_text)}")

real_vectorizer = CountVectorizer(tokenizer = tokenize, binary=True)
train_X = real_vectorizer.fit_transform(train_text)
test_X = real_vectorizer.transform(test_text)

from sklearn.svm import LinearSVC
classifier = LinearSVC()
classifier.fit(train_X, train_labels)
LinearSVC(C=1.0, class_weight=None, dual=True, fit_intercept=True,
          intercept_scaling=1, loss='squared_hinge', max_iter=1000,
          multi_class='ovr', penalty='l2', random_state=None, tol=0.0001,
          verbose=0)

from sklearn.metrics import accuracy_score
predicciones = classifier.predict(test_X)
accuracy = accuracy_score(test_labels, predicciones)
print(f"Accuracy: {accuracy:.4%}")```

2 respuestas 2

2

Tu datos estan super desbalanceados. Lo que prodias empezar haciendo seria un pooling de los datos. El accuracy no es la unica medida a la que tienes que darle importancia cuando estas entrenando un modelo. Haz una matriz de confusion para lograr encontrar los True Positive, True Negative ..... Esto te ayudara a comprender si el modelo esta discrimiando bien los datos que se supone tienen que ser reclamos o alertas. Con los datos de esta matriz también puedes obtener medidas como precission, recall y AUC. Esta ultima medida es mas importante que el accuracy. En este link puedes ver un poco mas de de la matriz de confusion: https://www.analyticsvidhya.com/blog/2020/04/confusion-matrix-machine-learning/

2
  • ¿Tienes algún código al respecto de tu respuesta?
    – Rodrigo
    Commented el 16 ene. 2021 a las 20:32
  • Gracias por tu respuesta, John. Leeré sobre la matriz de confusión :D Commented el 17 ene. 2021 a las 11:33
1

Basicamente lo que te está ocurriendo es que al tener 800.000 reclamos y 9000 alertas, tu módelo siempre etiqueta todo como reclamo y eso le da una perdida muy baja y un accuracy muy alto de ahí el 98% de acierto. El 98% de 800.000 es 9.000

-9000/800000 +1 == 0.98

Te doy una respuesta por partes:

Métricas de evaluación

El accuracy es una buena métrica de evaluación, pero para tener conocimiento de tu modelo, debes de usar otras métricas, como veo que usas la librería Scikit-Learn te voy a referenciar algunas de las métricas que puedes usar:

  • Curva ROC: es una métrica para clasificadores binarios que mide el false positive rate (cantidad de falsos positivos) y el True positive rate (cantidad de verdaderos positivos, puedes aplicarlo así sklearn.metrics.roc_curve(test_labels, predicciones)

  • Matriz de confusión: sirve para saber la cantidad de verdaderos positivos, verdaderos negativos, falsos positivos y falsos negativos. Aquí tienes otra pregunta de StackOverflow que habla sobre esto. La puedes ejecutar con sklearn.metrics.confusion_matrix(test_labels, predicciones)

  • F1-Score: Es una función que tiene en cuenta el Recall y la Precision,vuelve a estar explicado más detalladamente aquí. Para aplicarla en tu conjunto de datos lo puedes hacer así: sklearn.metrics.f1_score(test_labels, predicciones)

Como puedes ver estas tres métricas van orientada a entender como funciona tu clasificador, al utilizar información no solo de las clasificaciones bien realizadas (el 98%). Si no también de las mal realizadas.

Entrenando clases desbalanceadas

Asignar pesos

Lo más fácil si estás usando sklearn y el algoritmo LinearSVC es usar su parámetro class_weight como aparece en la documentación oficial, esta parte de tú código quedaría así:

from sklearn.svm import LinearSVC

#Creo un diccionario de pesos
pesos = {0:1., 1:89.}

#He quitado el resto de parámetros que tienes para que se vea bien, los puedes poner perfectamente
classifier = LinearSVC(class_weight=pesos)
classifier.fit(train_X, train_labels)

En este caso suponemos que la clase reclamos es 0 y la clase alertas es 1 y he ponderado las clase alertas con un ratio 1:89.

Este ratio sale de 800_000/9_000 sirve para hacer una ponderación rápida y ver resultados, es lo que se conoce como la inversa de la distribución de datos. Siente libre de cambiar estos pesos como mejor se adapte a tus datos, también existen otras decenas de métodos de ponderación además de este.

Otros métodos para tratar con el desbalance

  • Under Sampling (quitar datos): consiste en quitar datos de las distintas clases hasta que queden balanceadas
  • Over Sampling (añadir datos): consiste en recoger más datos o crear datos sinteticos de tus clases minoritarias, esta generación de datos se puede hacer con algoritmos como SMOTE. Basicamente se basa en la distribución y formas de la clase que quieres añadir datos y genera datos similares.
  • Cambiar el algoritmo: Siempre puedes modificar matemáticamente el algoritmo Support Vector Machines (SVM) para que sea adapte a tu problema.

Documentación Over Sampling y Under Sampling

8
  • 1
    Muchas gracias por tu respuesta tan completa, Alberto!! Probaré lo que me indicas Commented el 17 ene. 2021 a las 12:18
  • 1
    Alberto, me aparece este error al usar class weight: pesos = {0=1, 1=89} ^ SyntaxError: invalid syntax Commented el 17 ene. 2021 a las 12:18
  • 1
    Disculpa, ha sido un fallo mio (he actualizado la respuesta), los diccionarios en Python usando esa notación, se realizan así: {0:1., 1:89.} Vease que he incluido el punto para que los valores sean float y así le evites a Scikit Learn hacer la conversión internamente! Commented el 17 ene. 2021 a las 12:21
  • Gracias Alberto Ahora me salió este error.. TypeError: '<' not supported between instances of 'str' and 'int' Perdòn por las molestias Commented el 17 ene. 2021 a las 12:24
  • 1
    ¿Has puesto los pesos exactamente como yo los he puesto? o has usado ". El error te está diciendo que has pasado un str (texto) cuando se requiere un entero int. Es decir, esto no sería valido {"0":1., "1":89.} lo correcto sería como aparece en la respuesta: {0:1., 1:89.} Commented el 17 ene. 2021 a las 12:28

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.