¿Cuál es la diferencia entre una arquitectura LSTM más atención y una arquitectura transformadora?
Sé que, al igual que la LSTM, la Transformer es una arquitectura para transformar una secuencia en otra con la ayuda de dos partes (codificador y decodificador), pero difiere de los modelos secuencia a secuencia descritos más adelante porque no implica ninguna red recurrente (GRU, LSTM, etc.) y no sé mucho sobre eso.
Para una arquitectura LSTM más atención, tanto en la célula LSTM codificadora como en la decodificadora, se ha utilizado una capa de atención (denominada "Attention gate"). Todavía no sé mucho sobre esta capa. Sólo sé que es un vector, a menudo las salidas de la capa densa utilizando la función softmax pero eso no me lleva muy lejos.
Anexo: esto es lo que sé:
La LSTM vino para resolver un problema común con la RNN: que después de un tiempo la red comenzará a olvidar las primeras entradas, ya que la información se pierde en cada paso de la RNN. Necesitamos algún tipo de memoria a largo plazo para nuestras redes. Por eso se creó la célula de memoria a largo plazo (LSTM) para ayudar a resolver los problemas de las RNN.
En una LSTM tomamos ht-1 y xt, así como la última celda Ct-1. Es donde decidimos qué ignorar del pasado con una función ft.
El siguiente paso es lo que vamos a almacenar en el estado de la celda. La primera parte es una capa sigmoidea (capa de entrada), y la segunda parte es una capa hiperbólica tangeante la capa de entrada:
Para la sigmoide tomamos ht-1 y xt, la segunda parte de esta es la tangeante hiperbólica de la misma. Esto termina creando un vector de nuevos valores candidatos.
En el siguiente paso creamos una actualización del estado de la célula antigua.
[]
Multiplicamos el estado antiguo Ct-1 por ft y sumamos por lo que hemos decidido actualizar para añadir it*C̃t.
Ahora decidimos entender qué salida tenemos para ht. ht-1 y Ct que va de -1 a 1 obtenemos la salida que decidimos tener.
He intentado ser lo más sencillo posible, pero aún haciéndolo no sé si soy claro porque no acabo de entender este último paso.