Incorporaciones: Traslado a un espacio de dimensiones bajas

Las principales limitaciones al trabajar con datos de entrada dispersos se pueden resolver al asignar los datos de dimensiones altas a un espacio de dimensiones más bajas.

Como puedes ver en los ejercicios en papel, incluso un espacio pequeño de varias dimensiones proporciona la flexibilidad de agrupar semánticamente elementos similares y mantener alejados los elementos desemejantes. La posición (distancia y dirección) en el espacio vectorial codifican la semántica cuando existe una buena incorporación. Por ejemplo, las siguientes visualizaciones de incorporaciones reales muestran relaciones geométricas que capturan vinculaciones semánticas, como la relación entre un país y su capital:

Figura 4. Las incorporaciones pueden producir analogías llamativas.

Este tipo de espacios de bajas dimensiones capturan el significado y dan oportunidades a tu sistema de aprendizaje automático para que detecte patrones que podrían ayudar con la tarea de aprendizaje.

Reducción de la red

Aunque queremos que haya suficientes dimensiones para codificar las relaciones semánticas valiosas, también queremos un espacio de incorporaciones que sea lo suficientemente pequeño como para permitirnos entrenar nuestro sistema más rápidamente. Una incorporación útil puede estar en el orden de cientos de dimensiones. Es probable que esto sea varios órdenes de magnitud más pequeños que el tamaño de tu vocabulario para una tarea de lenguaje natural.

Incorporaciones como tablas de consulta

Una incorporación es una matriz en la que cada columna es el vector que corresponde a un elemento de tu vocabulario. Para obtener el vector denso de un elemento específico del vocabulario, simplemente recuperas la columna que corresponde a dicho elemento.

Pero ¿cómo trasladarías un vector de un grupo de palabras? Para obtener el vector denso de un vector disperso que representa varios elementos del vocabulario (por ejemplo, todas las palabras de una oración o un párrafo), puedes recuperar la incorporación de cada elemento individual y luego sumarlos todos.

Si el vector disperso contiene recuentos de los elementos del vocabulario, puedes multiplicar cada incorporación por el recuento de su elemento correspondiente antes de agregarlo a la suma.

Estas operaciones te pueden resultar familiares.

Consulta de incorporaciones como multiplicación de matrices

El proceso de consulta, multiplicación y suma que acabamos de describir es equivalente a la multiplicación de matrices. Dada una representación S dispersa de 1 X N y una tabla E de incorporaciones de N X M, la multiplicación de matrices S X E da como resultado el vector denso 1 X M.

Pero ¿cómo se obtiene E en primer lugar? En la siguiente sección, analizaremos cómo se obtienen las incorporaciones.