Hola y gracias de antemano.
Estoy tratando de implementar una red LSTM que encontré en el artículo [1]. En el Párrafo 3 de la Secc. 4.1 se muestra el modelo que deseo implementar y dice:
The d-vector model is a 3-layer LSTM network with a final linear layer. Each LSTM layer has 768 nodes, with projection of 256 nodes.
He hecho éste código:
import tensorflow as tf
from tensorflow import keras
from tensorflow.keras import layers
from tensorflow.keras.datasets import mnist
(x_train, y_train), (x_test, y_test) = mnist.load_data()
x_train = x_train.astype("float32")/255.0
x_test = x_test.astype("float32")/255.0
model = keras.Sequential()
model.add( layers.Input(shape=(None,28)) )
model.add( layers.LSTM(50, activation='relu', return_sequences=True) )
model.add( layers.LSTM(50, activation='relu', return_sequences=True) )
model.add( layers.LSTM(50, activation='linear') )
print(model.summary())
model.compile(
loss = keras.losses.SparseCategoricalCrossentropy(from_logits=True),
optimizer = keras.optimizers.Adam(learning_rate=0.001),
metrics=["accuracy"]
)
model.fit(x_train, y_train, batch_size=64, epochs=10, verbose=2)
model.evaluate(x_test, y_test, batch_size=64, verbose=2)
Quisiera agregar la proyección de 256 nodos al modelo creado en el código anterior. Cabe resaltar que en el artículo hay una cita a otro artículo[2] como se muestra a continuación.
The d-vector model is a 3-layer LSTM network with a final linear layer. Each LSTM layer has 768 nodes, with projection[2] of 256 nodes.
En la Fig. 1 de la Sección 2 en [2] muestran la arquitectura de la red que es la siguiente:
Y en la Eq. 13 definen la proyección como:
Dicho esto mis dudas realmente son: ¿En keras o tensorflow habrá implementada alguna capa que se le pueda agregar a un modelo LSTM para implementar la arquitectura de la Fig. 1?, ¿Habrá en keras o tensorflow algún modelo ya implementado con la arquitectura de la Fig. 1? o ¿Estará implementado ese modelo en algún lugar?
Disculpen la extensión de la pregunta, es que quisiera asegurarme que el modelo no está implementado antes de batallar con eso dado que no se nada de tensorflow y para ello tendría que aprender a usarlo. Ya he experimentado el dolor de tener que implementar algo y luego encontrarlo hecho.
Si hay algún error en el código ya escrito, por favor, me corrigen. Saludos y nuevamente gracias!!!