Incorporaciones

Una incorporación es un espacio de dimensiones relativamente bajas al que se pueden trasladar vectores de dimensiones altas. Las incorporaciones permiten llevar a cabo el aprendizaje automático con más facilidad en entradas de gran tamaño, como vectores dispersos que representan palabras. Idealmente, una incorporación captura parte de la semántica de la entrada al colocar entradas con similitudes semánticas más cerca entre sí en el espacio de la incorporación. Una incorporación se puede aprender y volver a utilizar en otros modelos.

Incorporaciones

  • Entrada: 1,000,000 películas que 500,000 usuarios eligieron mirar
  • Tarea: recomendar películas a los usuarios

Para resolver este problema, se necesita un método que determine qué películas son similares entre sí.

Una lista de películas ordenadas en una sola línea de izquierda a derecha. Starting with the left, 'Shrek', 'The Incredibles', 'The Triplets of Belleville', 'Harry Potter', 'Star Wars', 'Bleu', 'The Dark Knight Rises', and 'Memento'

La misma lista de películas de la diapositiva anterior, pero ordenadas en dos dimensiones; por lo tanto, "Shrek" aparece a la izquierda y encima de "Los increíbles", por ejemplo

Similar al diagrama anterior, pero con un eje y etiquetas para cada cuadrante. La disposición de las películas es la siguiente: el primer cuadrante superior derecho es de Películas taquilleras para adultos, contiene "La guerra de las galaxias" y "Batman: El caballero de la noche asciende", y las películas "Héroe" y "El tigre y el dragón" se agregaron a ese cuadrante. El segundo cuadrante inferior derecho es de Películas independientes para adultos, contiene las películas "Bleu" y '"Memento", y "Despertando a la vida" se agregó a ese cuadrante. El tercer cuadrante inferior izquierdo es de Películas independientes para niños, contiene la película "Las trillizas de Belleville", y "Wallace y Gromit" se agregó a ese cuadrante. El cuarto cuadrante superior derecho es de Películas taquilleras para niños, contiene "Shrek", "Los increíbles" y "Harry Potter", y la película "Escuela de rock" se agregó a ese cuadrante.

La misma disposición que la última diapositiva. "Shrek" y "Bleu" están destacadas como ejemplos de sus coordenadas en el plano de incorporaciones de 2 dimensiones.

  • Se supone que el interés de los usuarios en las películas se puede explicar a grandes rasgos en función de D aspectos.
  • Cada película se convierte en un punto de D dimensiones, donde el valor de la dimensión D representa el nivel de coincidencia de la película con ese aspecto.
  • Las incorporaciones se pueden aprender de los datos.
  • No se necesita un proceso de entrenamiento independiente; la capa de incorporación es simplemente una capa oculta con una unidad por dimensión.
  • La información supervisada (p. ej., los usuarios que miraron las mismas dos películas) adapta las incorporaciones aprendidas para la tarea deseada.
  • De forma intuitiva, las unidades ocultas descubren cómo organizar los elementos en el espacio de d dimensiones de una forma que se optimice mejor el objetivo final.
  • Cada ejemplo (una fila en esta matriz) es un vector disperso de atributos (películas) que el usuario ha mirado.
  • La representación densa de este ejemplo es: (0, 1, 0, 1, 0, 0, 0, 1).

No es eficaz en términos de espacio y tiempo.

Una tabla en la que cada encabezado de columna es una película y cada fila representa un usuario y las películas que miró.
  • Crea un diccionario que asigne cada atributo a un entero de 0, …, número de películas - 1.
  • Representa de manera eficaz el vector disperso como las películas que miró el usuario. Este vector se puede representar de la siguiente manera: En función de la posición de las películas en las columnas del vector disperso que se muestra a la derecha, "Las trillizas de Belleville", "Wallace y Gromit" y "Memento" se pueden representar de manera eficaz como (0,1, 999999)
Un vector disperso representado como una tabla en la que cada columna representa una película y cada fila representa a un usuario. La tabla contiene las películas de los diagramas anteriores y está numerada del 1 al 999999. Cada celda de la tabla está marcada si un usuario miró una película.

Problema de regresión para predecir precios de venta de casas:

Un diagrama de una red neural profunda que se usa para predecir precios de venta de casas.

Problema de regresión para predecir precios de venta de casas:

Un diagrama de una red neural profunda que se usa para predecir precios de venta de casas.

Problema de regresión para predecir precios de venta de casas:

Un diagrama de una red neural profunda que se usa para predecir precios de venta de casas.

Problema de regresión para predecir precios de venta de casas:

Un diagrama de una red neural profunda que se usa para predecir precios de venta de casas.

Problema de regresión para predecir precios de venta de casas:

Un diagrama de una red neural profunda que se usa para predecir precios de venta de casas.

Problema de regresión para predecir precios de venta de casas:

Un diagrama de una red neural profunda que se usa para predecir precios de venta de casas.

Clasificación de clases múltiples para predecir un dígito escrito a mano:

Un nuevo diagrama de una red neural profunda que se usa para predecir dígitos escritos a mano.

Clasificación de clases múltiples para predecir un dígito escrito a mano:

Un nuevo diagrama de una red neural profunda que se usa para predecir dígitos escritos a mano.

Clasificación de clases múltiples para predecir un dígito escrito a mano:

Un nuevo diagrama de una red neural profunda que se usa para predecir dígitos escritos a mano.

Clasificación de clases múltiples para predecir un dígito escrito a mano:

Un nuevo diagrama de una red neural profunda que se usa para predecir dígitos escritos a mano.

Clasificación de clases múltiples para predecir un dígito escrito a mano:

Un nuevo diagrama de una red neural profunda que se usa para predecir dígitos escritos a mano.

Clasificación de clases múltiples para predecir un dígito escrito a mano:

Un nuevo diagrama de una red neural profunda que se usa para predecir dígitos escritos a mano.

Clasificación de clases múltiples para predecir un dígito escrito a mano:

Un nuevo diagrama de una red neural profunda que se usa para predecir dígitos escritos a mano.

Filtrado colaborativo para predecir películas recomendadas:

Un nuevo diagrama de una red neural profunda que se usa para predecir películas para recomendar.

Filtrado colaborativo para predecir películas recomendadas:

Un nuevo diagrama de una red neural profunda que se usa para predecir películas para recomendar

Filtrado colaborativo para predecir películas recomendadas:

Un nuevo diagrama de una red neural profunda que se usa para predecir películas para recomendar.

Filtrado colaborativo para predecir películas recomendadas:

Un nuevo diagrama de una red neural profunda que se usa para predecir películas para recomendar.

Filtrado colaborativo para predecir películas recomendadas:

Un nuevo diagrama de una red neural profunda que se usa para predecir películas para recomendar.

Filtrado colaborativo para predecir películas recomendadas:

Un nuevo diagrama de una red neural profunda que se usa para predecir películas para recomendar.

Filtrado colaborativo para predecir películas recomendadas:

Red profunda

  • Cada una de las unidades ocultas corresponde a una dimensión (atributo latente).
  • Las ponderaciones de las conexiones entre una película y una capa oculta son valores de coordenadas.
  • Un diagrama de árbol de una red neuronal profunda con nodos en la capa más baja conectados a tres puntos en la siguiente capa más alta.

Vista geométrica de la incorporación de una sola película

Un punto en un espacio de 3 dimensiones correspondiente al nodo de la capa baja en el diagrama de la red neuronal profunda.
  • Las incorporaciones de dimensiones más altas pueden representar con mayor exactitud las relaciones entre los valores de entrada.
  • Sin embargo, las dimensiones aumentan la posibilidad de sobreajuste y provocan un entrenamiento más lento.
  • Hay una regla general empírica (un buen punto de partida que se debe ajustar con los datos de validación):
  • $$ dimensions \approx \sqrt[4]{possible\;values} $$
  • Las incorporaciones asignan elementos (p. ej., películas, texto, etc.) a vectores reales de dimensiones bajas de manera tal que los elementos similares estén cerca entre ellos.
  • Las incorporaciones también se pueden aplicar a datos densos (p. ej., audio) para crear una métrica de similitud significativa.
  • Las incorporaciones también se pueden aplicar a datos densos (p. ej., audio) para crear una métrica de similitud significativa.