La explicación personal que tengo es; una forma de reducción del tamaño de las entradas y al mismo tiempo establece una relación semántica entre distintas palabras aprovechando propiedades de vectores.
De tal forma que si ingresas por ejemplo "Toro" el embedding va a transformar ese token de la palabra Toro a uno distinto en terminos adjetivos concretos. por ejemplo, "macho", "animal", "quadrupe", "tiene cuernos".
Así la red neuronal es ciega e invariante ante entradas similares, por ejemplo si introducimos ahora "Búfalo", sin embedding la red neuronal tendría que inferir desde cero las características del token (es un animal, si es macho o hembra, si tiene cuatro patas o dos, etc...). En cambio con embedding la red neuronal no trabajaría con el token de "Búfalo" lo haría mas bien con la projección sobre los adjetivos... osea la entrada equivalente sería: tiene cuatro patas (la red neural dice: ah siiiii?), tiene cuernos, no se sabe si es macho o hembra solo con el nombre entonces asignemosle 60% ya que la mayoría de mis datos son machos (bias de la red). Para la red neuronal entonces sería muy similar trabajar con "Toro" que con "Búfalo", y como resultado lo que aprenda con una clase lo inferirá para la otra lo que facilita el aprendizaje y la asociación.
Ahora, el ejemplo más usado es el de "Rey" y "Reina", que están asociados directamente a si es hombre o mujer (adjetivos), probablemente tengan otros como "ser gobernante", "bestimenta ostentosa".
Esta asosiación que causa el embedding permite que la red neuronal trabaje no con los tokens individuales "Rey" y "Reina" que aunque para un humano se vean muy similares en términos de token un computador no lo sabría, sin embargo la capa de embedding se encargaría de darle una "interpretación" semántica asociandolo con adjetivos.
La forma en que se asocian es con una projección sobre un espacio algebraicamente distinto (que es lo que hace una matríz), entonces cada token escrito como vector (en la que la dirección y la posición del vector no tiene significado alguno sin embedding) sería puesta en un sistema de referencia de menor dimensión pero con correlación entre vectores (tendría significado tanto las posiciones como las direcciones)... por ejemplo todo lo que categorice como "ser vivo" apuntaría en la misma dirección bajo esa dimensión ya que tendrían la mísma componente.
Tomaré la siguiente imagen de word-embedding recomendando el artículo al mismo tiempo.
Así mismo la distancia en el espacio de "embedding" te diría que tan similares o distintos semanticamente hablando son dos vectores. por ejemplo: un rey tiene una relación similar a una reina en lo que un hombre sería a una mujer. (en este caso la dirección sería la misma)
En la imagen puedes ver como entran las palabras [cat,kitten,dog,houses,man,woman,king,queen], las cuales son llevadas a un espacio de menor dimensión pero que tienen correlación semántica [ser vivo,felino,humanogenero,realeza,verbo,plural], encontrarás que rey y hombre tienen una correlación fuerte (sus filas tienen valores similares, significa vectores casi paralelos), lo mismo para Reina y mujer. podrás establecer una relación de analogías haciendo una resta: vector (rey - reina)=(hombre-mujer). o una relación de similitudes haciendo el producto punto (rey,hombre)
Por favor comenta si un parrafo es poco claro para intentar corregirlo.