Generalización

La generalización hace referencia a la capacidad del modelo para adaptarse de manera adecuada a datos nuevos nunca antes vistos, obtenidos de la misma distribución que aquellos utilizados para crear el modelo.

Generalización

Ciclo del modelo, predicción, muestra, detectar verdadera distribución, más muestras
  • Objetivo: Predecir bien sobre los datos nuevos obtenidos de una distribución verdadera (oculta).
  • Problema: No vemos la verdad.
    • Solo obtenemos muestras de ella.
Ciclo del modelo, predicción, muestra, detectar verdadera distribución, más muestras
  • Objetivo: Predecir bien sobre los datos nuevos obtenidos de una distribución verdadera (oculta).
  • Problema: No vemos la verdad.
    • Solo obtenemos muestras de ella.
  • Si el modelo h se adapta bien a nuestra muestra actual, ¿cómo podemos confiar en que realizará predicciones correctas sobre otras muestras nuevas?
  • Teóricamente:
    • Campo interesante: teoría de la generalización
    • Según las ideas de medir la simplicidad/complejidad del modelo
  • Intuición: formalización del principio de la navaja de Ockham
    • Cuanto menos complejo es un modelo, más probable es que un buen resultado empírico no se deba simplemente a las peculiaridades de nuestra muestra
  • Empíricamente:
    • Preguntar: ¿Nuestro modelo tendrá un buen desempeño con una nueva muestra de datos?
    • Evaluar: Obtener una nueva muestra de datos y llamarla el conjunto de prueba
    • Un buen rendimiento del conjunto de prueba es un indicador útil del buen rendimiento de los nuevos datos en general:
      • Si el conjunto de pruebas es lo suficientemente grande
      • Si no hacemos trampa usando el conjunto de prueba una y otra vez

Tres suposiciones básicas con respecto a todo lo anterior:

  1. Los ejemplos se obtienen independiente e idénticamente (i.i.d.) de manera aleatoria de la distribución.
  2. La distribución es estacionaria: no cambia con el tiempo.
  3. Los datos siempre se obtienen de la misma distribución, incluidos el entrenamiento, la validación y los conjuntos de prueba.