¿Qué es?
La capa tf.keras.layers.Embedding
es un método de clustering, y como todo método de clustering matemático lo que pretende es, agrupar palabras similares en grupos homogeneos y que dichos grupo sean lo más heterogeneos entre si, unos de otros. Explicandolo más fácil, que las palabras similares van juntas y están lo más separadas posible de las palabras no similares.
La explicación de @Alfredo Maussa es muy buena.
¿Qué sentido tiene?
Antes de que existiera este método matemático, cuando se quería analizar texto, se usaba One Hot Encoding.
Como bien sabes, una red neuronal, o cualquier otro proceso matemático, no entiende el texto, ni las palabras, por lo que debes transformar las palabras en números.. One Hot Encoding consiste simplemente en una matriz de ceros y unos, que transforma las palabras a números. Aquí un ejemplo:
One Hot Encoding
Apple Chicken Broccoli Calories
1 0 0 95
0 1 0 231
0 0 1 50
Este método era algo rudimentario, por lo que se crearon distinto métodos para mejorarlo, entre ellos el que implementa Tensorflow con tf.keras.layers.Embedding
. Las mejoras además de representar el texto como números al igual que hace One Hot Encoding, son las siguientes:
- Reducción de la dimensionalidad: este método reduce la dimensionalidad del texto haciendo posible de entrenar conjuntos de datos más grandes.
- Creación de un contexto: al aplicar un método de clustering que diferencia unas palabras de otras, es capaz de proporcionarle a la red neuronal información valiosa
Tu pregunta
Una vez sabemos esto, hemos practicamente respondido a tu pregunta:
- Funcionalidad: transformar el texto a números para que se le puedan aplicar procesos matemáticos
- Ventajas: con respecto a métodos anteriores permite entrenar mayor cantidad datos gracias a la reducción de la dimensionalidad, y además códifica los datos dandole información extra a la red neuronal gracias al método de clustering.
Bonus extra
La capa
tf.keras.layers.Embedding
no solo se puede usar en texto, se puede usar en cualquier problema que tenga alta dimensionalidad. Por ejemplo, sistemas de recomendaciónActualmente existen mejores procesos matemáticos, como por ejemplo Transformers basado en capas de codificiación y decodificación, con los que se han creado modelos de texto muy avanzados como BERT o GPT-3