2

¿Cuál es la diferencia entre una arquitectura LSTM más atención y una arquitectura transformadora?

Sé que, al igual que la LSTM, la Transformer es una arquitectura para transformar una secuencia en otra con la ayuda de dos partes (codificador y decodificador), pero difiere de los modelos secuencia a secuencia descritos más adelante porque no implica ninguna red recurrente (GRU, LSTM, etc.) y no sé mucho sobre eso.

Para una arquitectura LSTM más atención, tanto en la célula LSTM codificadora como en la decodificadora, se ha utilizado una capa de atención (denominada "Attention gate"). Todavía no sé mucho sobre esta capa. Sólo sé que es un vector, a menudo las salidas de la capa densa utilizando la función softmax pero eso no me lleva muy lejos.

Anexo: esto es lo que sé:

La LSTM vino para resolver un problema común con la RNN: que después de un tiempo la red comenzará a olvidar las primeras entradas, ya que la información se pierde en cada paso de la RNN. Necesitamos algún tipo de memoria a largo plazo para nuestras redes. Por eso se creó la célula de memoria a largo plazo (LSTM) para ayudar a resolver los problemas de las RNN.

En una LSTM tomamos ht-1 y xt, así como la última celda Ct-1. Es donde decidimos qué ignorar del pasado con una función ft.

introducir la descripción de la imagen aquí

El siguiente paso es lo que vamos a almacenar en el estado de la celda. La primera parte es una capa sigmoidea (capa de entrada), y la segunda parte es una capa hiperbólica tangeante la capa de entrada:

introducir la descripción de la imagen aquí

Para la sigmoide tomamos ht-1 y xt, la segunda parte de esta es la tangeante hiperbólica de la misma. Esto termina creando un vector de nuevos valores candidatos.

En el siguiente paso creamos una actualización del estado de la célula antigua.

[introducir la descripción de la imagen aquí]

Multiplicamos el estado antiguo Ct-1 por ft y sumamos por lo que hemos decidido actualizar para añadir it*C̃t.

Ahora decidimos entender qué salida tenemos para ht. ht-1 y Ct que va de -1 a 1 obtenemos la salida que decidimos tener.

He intentado ser lo más sencillo posible, pero aún haciéndolo no sé si soy claro porque no acabo de entender este último paso.

1 respuesta 1

3

Antes de entrar en las diferencias internas de cada arquitectura, creo que te será útil entender a grandes rasgos en qué se diferencian una red recurrente (RNN) y un transformer. Con esto espero poder responder a tu pregunta.

Empecemos con la RNN. Lo característico de una RNN es que computa su salida h_t a partir de la entrada x_t y su «estado oculto» previo h_{t-1}. Cómo lo hace es una cuestión interna de la red. Una manera muy popular es usando una LSTM, pero existen otras como la GRU o incluso una simple red con dos matrices de pesos (una para h_{t-1} y otra para x_t).

Antes de llegar a la RNN + atención (o si se quiere, LSTM + atención), hay que comprender la estructura codificador/decodificador usando RNNs sin atención. Veamos el siguiente esquema:

Red recurrente con estructura codificador/decodificador sin atención

Para una secuencia de entrada de N tokens, tenemos N estados ocultos h_i, más el estado oculto a la salida del codificador. Este estado oculto es usado como estado oculto inicial para el decodificador. Fíjate que el decodificador debe producir la secuencia de salida entera solo a partir de este vector. Aquí tenemos un claro cuello de botella, que en el caso de tratamiento de lenguaje no es conveniente, ya que limita la capacidad de representación de la red y además tiende a producir gradientes desvanecidos.

¡Atención!

Para solventar el problema del cuello de botella, se inventó el mecanismo de atención. Veamos la siguiente figura:

RNN sin atención (izquierda) y RNN con atención (derecha)

En el codificador/decodificador clásico, el decodificador debe hacer predicciones solamente a partir del último estado oculto generado por el codificador. Por contra, en el esquema con atención, el decodificador atiende a cada uno de los estados ocultos en todos los pasos temporales generados por el codificador. Además, el decodificador da más importancia a algunos de estos estados ocultos que a otros. El peso asignado a cada estado oculto lo decide una red neuronal (un MLP) auxiliar que genera, para cada estado oculto del codificador, un peso alpha_i. El vector final utilizado por el decodificador se obtiene luego como la suma de los estados ocultos h_i ponderados por su importancia alpha_i.

Nótese que este mecanismo de atenció conlleva un coste lineal en memoria respecto a la longitud de la secuencia de entrada, debido a que es necesario guardar los estados ocultos del codificador. Además, también conlleva un coste lineal en computación, por el coste de calcular los pesos de la atención a cada paso temporal del decodificador.

También es importante destacar que la RNN requiere que la arquitectura esté alineada con la secuencia. Por lo tanto, no es posible alimentar al codificador con toda la secuencia entera de una vez; hay que ir token por token. Además, esto impide paralelizar la computación.

Attention is All You Need

En 2017 Vaswani y compañía publicaron el artículo Attention is All You Need, donde presentaron la arquitectura del transformer. En el mismo resumen del artículo, describen la arquitectura como

a new simple network architecture [...] based solely on attention mechanisms, dispensing with recurrence and convolutions entirely.

El transformer se deshace de la recurrencia y por lo tanto de la necesidad de alinear la arquitectura del modelo a la secuencia de entrada/salida. Esto permite al modelo utilitzar toda la secuencia de entrada directamente.

La gran innovación del transformer consiste en la auto-atención. Este tipo de cela compara cada vector de entrada con todos los demás vectores para calcular los vectores de salida. A grandes rasgos, lo que hace es obtener, por cada vector de entrada, un peso asociado a cada uno de los vectores de entrada, para luego computar una suma ponderada de estos vectores.

Estas son a grandes rasgos las diferencias entre las RNN y los transformers. Te recomiendo que consultes las referencias que hay debajo si quieres entrar en los detalles de cada arquitectura.

Referencias

https://medium.com/swlh/a-simple-overview-of-rnn-lstm-and-attention-mechanism-9e844763d07b

https://towardsdatascience.com/transformers-141e32e69591

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.