Incorporaciones

Una incorporación es un espacio de dimensiones relativamente bajas al que se pueden trasladar vectores de dimensiones altas. Las incorporaciones facilitan el aprendizaje automático en entradas grandes, como vectores dispersos que representan palabras. Lo ideal es que una incorporación capture parte de la semántica de la entrada mediante la colocación de entradas semánticamente similares cerca en el espacio de incorporaciones. Una incorporación se puede aprender y reutilizar en todos los modelos.

Incorporaciones

  • Entrada: 1,000,000 películas que 500,000 usuarios eligieron mirar
  • Tarea: recomendar películas a los usuarios

Para resolver este problema, se necesita un método que determine qué películas son similares entre sí.

Una lista de películas ordenadas en una sola línea de izquierda a derecha. A la izquierda, "Shrek", "Los increíbles" y "Las trillizas de Belleville", "Harry Potter", "Star Wars", "Bleu & &33;&

La misma lista de películas de la diapositiva anterior, pero ordenadas en dos dimensiones; por ejemplo, "Shrek" aparece a la izquierda y encima de "Los increíbles"

Similar al diagrama anterior, pero con eje y etiquetas para cada cuadrante. La disposición de las películas es la siguiente: en el primer cuadrante superior derecho se muestran los éxitos de taquilla de los adultos que contienen "Star Wars" y "El caballero de la noche asciende", con las películas "Héroe" y "El dragón oculto" se agregaron al cuadrante adulto. El segundo cuadrante inferior derecho es de Películas independientes para adultos, que contiene las películas "Bleu" y "Memento"; de allí, "Waking Life" se agregó a ese cuadrante. El tercer cuadrante inferior izquierdo es de Arts Arthouse y contiene la película "Las trillizas de Belleville" (Wallace y Gromit) se agregó a ese cuadrante. El cuarto y último cuadrante de la esquina superior izquierda son los Éxitos de taquilla de niños, que contienen "Los Increíbles", y "Harry Potter", y la película "Escuela de Rock" se agregó a ese cuadrante.

La misma disposición de la última diapositiva. Shrek & Bleu se destacan como ejemplos de sus coordenadas en el plano de incorporación 2D.

  • Se supone que el interés del usuario en las películas se puede explicar a grandes rasgos mediante d aspectos.
  • Cada película se convierte en un punto d-dimensional en el que el valor de la dimensión d representa cuánto se ajusta la película a ese aspecto.
  • Las incorporaciones se pueden aprender de los datos
  • No se necesita un proceso de entrenamiento independiente. La capa de incorporación es solo una capa oculta con una unidad por dimensión.
  • La información supervisada (p. ej., los usuarios que miraron las mismas dos películas) adapta las incorporaciones aprendidas para la tarea deseada.
  • De manera intuitiva, las unidades ocultas descubren cómo organizar los elementos en el espacio d-dimensional de una manera de optimizar mejor el objetivo final.
  • Cada ejemplo (una fila de esta matriz) es un vector disperso de atributos (películas) que miró el usuario.
  • Representación densa de este ejemplo como: (0, 1, 0, 1, 0, 0, 0, 1)

No es eficiente en términos de espacio y tiempo.

Una tabla en la que cada encabezado de columna es una película y cada fila representa un usuario y las películas que miró.
  • Crea un diccionario que asigne cada atributo a un entero de 0, ..., # películas - 1.
  • Representa de manera eficiente el vector disperso como las películas que miró el usuario. Este vector se puede representar de la siguiente manera: Según la posición de la columna de las películas en el vector disperso que se muestra a la derecha, las películas "Las trillizas de Belleville", "Wallace y Gromit" y "Memento" pueden representarse de manera eficaz como (0,1, 999999)
Un vector disperso representado como una tabla con cada columna que representa una película y cada fila que representa un usuario. La tabla contiene las películas de los diagramas anteriores y está numerada del 1 al 999999. Cada celda de la tabla se marca si un usuario miró una película.

Problema de regresión para predecir precios de venta de casas:

Un diagrama de una red neuronal profunda que se usa para predecir los precios de venta de casas

Problema de regresión para predecir precios de venta de casas:

Un diagrama de una red neuronal profunda que se usa para predecir los precios de venta de casas (codificación de vectores dispersos destacados)

Problema de regresión para predecir precios de venta de casas:

Un diagrama de una red neuronal profunda que se usa para predecir los precios de venta de casas (se destaca la capa de incorporación tridimensional oculta)

Problema de regresión para predecir precios de venta de casas:

Un diagrama de una red neuronal profunda que se usa para predecir los precios de venta de casas (características adicionales de entrada de latitud y longitud destacadas)

Problema de regresión para predecir precios de venta de casas:

Un diagrama de una red neuronal profunda que se usa para predecir los precios de venta de casas (características de entrada que se alimentan de varias capas ocultas destacadas)

Problema de regresión para predecir precios de venta de casas:

Un diagrama de una red neuronal profunda que se usa para predecir los precios de venta de casas (resultado de la red neuronal profunda destacado)

Clasificación de clases múltiples para predecir un dígito escrito a mano:

Diagrama de una red neuronal profunda que se usa para predecir dígitos escritos a mano

Clasificación de clases múltiples para predecir un dígito escrito a mano:

Diagrama de una red neuronal profunda que se usa para predecir dígitos escritos a mano (codificación de vectores dispersos de entrada destacados)

Clasificación de clases múltiples para predecir un dígito escrito a mano:

Diagrama de una red neuronal profunda que se usa para predecir dígitos escritos a mano (otras funciones destacadas)

Clasificación de clases múltiples para predecir un dígito escrito a mano:

Diagrama de una red neuronal profunda que se usa para predecir dígitos escritos a mano (resaltado en tres dimensiones)

Clasificación de clases múltiples para predecir un dígito escrito a mano:

Diagrama de una red neuronal profunda que se usa para predecir dígitos escritos a mano (se destacan las capas ocultas)

Clasificación de clases múltiples para predecir un dígito escrito a mano:

Diagrama de una red neuronal profunda que se usa para predecir dígitos escritos a mano (se destaca la capa de logit)

Clasificación de clases múltiples para predecir un dígito escrito a mano:

Diagrama de una red neuronal profunda que se usa para predecir dígitos escritos a mano (se destaca la capa de la clase objetivo)

Filtrado colaborativo para predecir películas recomendadas:

Diagrama de una red neuronal profunda que se usa para predecir qué películas recomendar

Filtrado colaborativo para predecir películas recomendadas:

Diagrama de una red neuronal profunda que se usa para predecir qué películas recomendar (se destaca la capa de clase objetivo)

Filtrado colaborativo para predecir películas recomendadas:

Diagrama de una red neuronal profunda que se usa para predecir qué películas recomendar (codificación de vectores dispersos destacados)

Filtrado colaborativo para predecir películas recomendadas:

Diagrama de una red neuronal profunda que se usa para predecir qué películas recomendar (inserción tridimensional destacada)

Filtrado colaborativo para predecir películas recomendadas:

Diagrama de una red neuronal profunda que se usa para predecir qué películas recomendar (otras funciones destacadas)

Filtrado colaborativo para predecir películas recomendadas:

Diagrama de una red neuronal profunda que se usa para predecir qué películas recomendar (capas ocultas destacadas)

Filtrado colaborativo para predecir películas recomendadas:

Diagrama de una red neuronal profunda que se usa para predecir qué películas recomendar (capa de registro destacada)

Red profunda

  • Cada unidad oculta corresponde a una dimensión (atributo latente).
  • Las ponderaciones de las conexiones entre una película y una capa oculta son valores de coordenadas.
  • Un diagrama de árbol de una red neuronal profunda con nodos en la capa más baja conectados a tres puntos en la siguiente capa superior

Vista geométrica de la incorporación de una sola película

Un punto en un espacio tridimensional que corresponde al nodo de la capa inferior del diagrama de la red neuronal profunda.
  • Las incorporaciones de dimensiones más altas pueden representar con mayor precisión las relaciones entre los valores de entrada
  • Sin embargo, una mayor cantidad de dimensiones aumenta las probabilidades de sobreajuste y provoca un entrenamiento más lento.
  • Regla general empírica (un buen punto de partida, pero se debe ajustar con los datos de validación):
  • $$ dimensions \approx \sqrt[4]{possible\;values} $$
  • Las incorporaciones asignan elementos (p. ej., películas, texto, etc.) a vectores reales de dimensiones bajas de modo que los elementos similares estén cerca.
  • Las incorporaciones también se pueden aplicar a datos densos (p.ej., audio) para crear una métrica de similitud significativa
  • La incorporación conjunta de diversos tipos de datos (por ejemplo, texto, imágenes, audio, etc.) define una similitud entre ellos.