Estoy trabajando en un problema de LSTM. Estoy tratando de predecir el tipo de personalidad MBTI (prueba de Myers-Briggs) según clasificación de texto (hay 16 tipos de personalidad).
Tengo un archivo csv, que fue preprocesado: se eliminaron las stopwords, fue lematizado, tokenizado, secuenciado y paddeado. El dataframe no tiene ningún valor NaN
y la secuencia de texto solo tiene números int
.
Sin embargo, el problema se genera cuando intento entrenar el modelo, obtengo:
loss: nan - accuracy: 0.0000e+00 - val_loss: nan - val_accuracy: 0.0000e+00
¿Cómo se ven los datos y las etiquetas x, y con los resultados?
print(validation_label_seq)
[[ 5]
[10]
[ 4]
[ 4]
[15]
[12]
[ 1]...]
print(validation_padded[0])
maxlen = 240
array([ 23, 353, 147, 677, 1, 1, 409, 10, 845, 1530, 1,
103, 107, 998, 117, 1389, 25, 1, 28, 1889, 165, 1,
1520, 49, 718, 65, 55, 34, 0, 0, 0, 0, 0,
0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,...], dtype=int32)
print(train_label_seq)
[[ 8]
[ 9]
[ 3]
[ 7]
[ 4]
[10]
[15]
[11]...]
print(train_data_padded[0])
maxlen = 240
array([ 19, 301, 133, 302, 562, 133, 28, 563, 895, 896, 897, 118, 99,
564, 397, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0...], dtype=int32)
results = model.evaluate(validation_padded, validation_label_seq)
test = validation_padded[10]
predict = model.predict_classes([test])
print(predict[1])
59/59 [==============================] - 0s 1ms/sample - loss: nan - accuracy: 0.0000e+00
[0]
/tensorflow-2.1.0/python3.6/tensorflow_core/python/keras/engine/sequential.py:342: RuntimeWarning: invalid value encountered in greater
return (proba > 0.5).astype('int32')
print(predict)
array([[0],
[0],
...
[0],
[0]], dtype=int32)
¿Qué ya intenté?
- Ya intenté cambiar a diferentes optimizadores
- reducir el batch size
- Verifique errores de valores en el dataframe y en las secuencias, como en los paddeados de
x
ey
(datos de entrenamiento y validación).
Output esperado:
Tal vez estoy construyendo mal el modelo, así que explicaré cuál es la idea principal. Me gustaría obtener un output o o dieciséis outpus, que determina el accuracy
del tipo de personalidad.
1 output:
INTP: 89%
16 outputs:
ENTP: 5% | INTP: 81% | INTJ: 1% | ...
Dataframe: mbti_df.csv
Cualquier sugerencia para mejorar la pregunta será considerada.