1

Estoy tratando de hacer una red neuronal que prediga el sentimiento de una oración, pero al llegar a la parte del entrenamiento de la red, me arroja un error de argumento invalido.

import numpy as np
import tensorflow as tf
from tensorflow.keras.preprocessing.text import Tokenizer
from tensorflow.keras.preprocessing.sequence import pad_sequences


oraciones = [# En el código real, aquí hay una muy larga lista de oraciones]

etiquetas = [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
             0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]


oracionesEnt = oraciones[0:40]
oracionesVal = oraciones[40:]
etiquetasEnt = etiquetas[0:40]
etiquetasVal = etiquetas[40:]


tokenizer = Tokenizer(oov_token = '<OOV>')
tokenizer.fit_on_texts(oracionesEnt)
word_index = tokenizer.word_index


seqEnt = tokenizer.texts_to_sequences(oracionesEnt)
padEnt = pad_sequences(seqEnt, padding='post')

seqVal = tokenizer.texts_to_sequences(oracionesVal)
padVal = pad_sequences(seqVal, padding='post')


padEnt = np.array(padEnt)
padVal = np.array(padVal)
etiquetasEnt = np.array(etiquetasEnt)
etiquetasVal = np.array(etiquetasVal)


model = tf.keras.Sequential([
    tf.keras.layers.Embedding(54, 16),
    tf.keras.layers.GlobalAveragePooling1D(),
    tf.keras.layers.Dense(24, activation='relu'),
    tf.keras.layers.Dense(1, activation='sigmoid')
])
model.compile(loss='binary_crossentropy',optimizer='adam',metrics=['accuracy'])


# Esta es la línea que me da error
model.fit(padEnt, etiquetasEnt, epochs=30, validation_data=(padVal, etiquetasVal))

El error pone lo siguiente:

InvalidArgumentError:  indices[10,2] = 54 is not in [0, 54)
     [[node sequential/embedding/embedding_lookup (defined at <ipython-input-6-0032e21d6407>:1) ]] [Op:__inference_train_function_675]

Errors may have originated from an input operation.
Input Source operations connected to node sequential/embedding/embedding_lookup:
 sequential/embedding/embedding_lookup/450 (defined at /usr/lib/python3.6/contextlib.py:81)

Function call stack:
train_function

Sospecho que el error está en la parte de los embeddings, porque al cambiar los valores obtengo diferentes codigos de error en los que solo cambia lo que va despues de "InvalidArgumentError", estoy haciendo uso de Google Colab, espero que puedan ayudarme.

2
  • Puedes poner la traza de error completa por favor. Así será más fácil ayudarte :) Commented el 20 nov. 2020 a las 10:56
  • 1
    Listo, gracias por ver la pregunta Commented el 21 nov. 2020 a las 0:27

1 respuesta 1

0

En la capa Embeddings de tus datos, que es la encargada de transformarlos para la red neuronal, le has pasado un tamaño de vocabulario incorrecto. El error te dice lo que está ocurriendo:

InvalidArgumentError:  indices[10,2] = 54 is not in [0, 54)

"54 no se encuentra en [0, 54)"

Lo cual cierto, porque has dicho que el tamaño máximo va a ser 54 y el tamaño máximo se toma como un intervalo de 0 a 54, en el que el 54 es abierto, es decir, no está incluido en el rango de valores.

Cuando la capa de Embedding está procesando los datos para introducirlos en la red neuronal, y cuando está buscando palabras en tu vocabulario, se da cuenta de que hay una palabra más de las que le has dicho que había.

La solución: es incrementar el tamaño del vocabulario en uno, es decir poner 55, la definición de tu modelo secuencial, quedaría así:


model = tf.keras.Sequential([
    tf.keras.layers.Embedding(55, 16), #Hacemos que 54 se encuentre en el intervarlo
    tf.keras.layers.GlobalAveragePooling1D(),
    tf.keras.layers.Dense(24, activation='relu'),
    tf.keras.layers.Dense(1, activation='sigmoid')
])

1
  • 1
    Me funciono perfectamente, gracias por la respuesta, no tenía idea de que el tamaño de vocabulario fuera el problema. Commented el 22 nov. 2020 a las 0:22

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.