Soy nuevo realizando modelos en machine learning y estoy entrenando un dataset para que, según el contenido de un relato efectuado por personas, el modelo discrimine si se trata de un reclamo o de una alerta.
En una base (la que usaré para entrenar el modelo), tengo cerca de 800 mil reclamos, mientras que alertas tengo solo 9 mil.
Hice el procedimiento habitual para estos modelos, de separar en train, test, etc etc, logrando un accuracy de 98% usando SVC. Sin embargo, siento que el modelo no está realizando una buena clasificación del texto, ¿Por qué me clasifica como alerta, relatos que corresponden a reclamos?
¿Alguien me podría decir cuales son los errores para que pasen cosas asi?
Yo siento que se debe a que el numero de reclamos es demasiado grande comparado con los de alertas, por lo que deberia extraer un dataset más pequeño, con una muestra estratificada para trabajar mejor, pero no sé...
Adjunto el código de la parte más machine learning que usé para esto. Lo anterior es más que nada el cargado de la base con la que trabajé:
demo_vectorizer = CountVectorizer(
tokenizer = tokenize,
binary = True
)
from sklearn.model_selection import train_test_split
train_text, test_text, train_labels, test_labels = train_test_split(base["Relato"], base["Tipo"],stratify=base["Tipo"],test_size=0.20)
print(f"Training: {len(train_text)}, Testing {len(test_text)}")
real_vectorizer = CountVectorizer(tokenizer = tokenize, binary=True)
train_X = real_vectorizer.fit_transform(train_text)
test_X = real_vectorizer.transform(test_text)
from sklearn.svm import LinearSVC
classifier = LinearSVC()
classifier.fit(train_X, train_labels)
LinearSVC(C=1.0, class_weight=None, dual=True, fit_intercept=True,
intercept_scaling=1, loss='squared_hinge', max_iter=1000,
multi_class='ovr', penalty='l2', random_state=None, tol=0.0001,
verbose=0)
from sklearn.metrics import accuracy_score
predicciones = classifier.predict(test_X)
accuracy = accuracy_score(test_labels, predicciones)
print(f"Accuracy: {accuracy:.4%}")```