Regresión logística: Cálculo de probabilidades

Muchos problemas exigen como resultado el cálculo de una probabilidad. La regresión logística es un mecanismo extremadamente eficiente para calcular probabilidades. En la práctica, puedes usar la probabilidad resultante de una de las dos maneras siguientes:

  • "tal cual"
  • convertida en una categoría binaria

Veamos cómo podemos usar la probabilidad "tal cual". Supongamos que creamos un modelo de regresión logística para predecir la probabilidad de que un perro ladre durante la noche. A esa probabilidad la llamaremos:

  p(bark | night)

Si el modelo de regresión logística predice una probabilidad p(bark | night) de 0.05, en un año, los dueños de perros se despertarían aproximadamente 18 veces:

  startled = p(bark | night) * nights
  18 ~= 0.05 * 365

En muchos casos, representarás el resultado de la regresión logística como la solución a un problema de clasificación binaria, donde el objetivo es predecir correctamente una de dos etiquetas posibles (p. ej., "es spam" o "no es spam"). Más adelante, hay un módulo dedicado a ese tema.

Posiblemente te preguntes de qué manera un modelo de regresión logística puede garantizar un resultado que siempre esté entre 0 y 1. Como suele pasar, una función sigmoidea, definida a continuación, produce un resultado con esas mismas características:

$$y = \frac{1}{1 + e^{-z}}$$

La función sigmoidea genera la siguiente representación:

Función sigmoidea. El eje x es el valor bruto de interferencia. El eje y se extiende de 0 a +1, excluyente.

Figura 1: Función sigmoidea

Si z representa el resultado de la capa lineal de un modelo entrenado con regresión logística, la función sigmoidea (z) generará un valor (una probabilidad) entre 0 y 1. En términos matemáticos:

$$y' = \frac{1}{1 + e^{-(z)}}$$

donde:

  • y' es el resultado del modelo de regresión logística para un ejemplo en particular.
  • z es b + w1x1 + w2x2 + ... wNxN
    • Los valores w son los pesos aprendidos del modelo, y b es la ordenada al origen.
    • Los valores x son los valores de atributo para un ejemplo en particular.

Debes tener en cuenta que z también se representa como logaritmo de probabilidad, porque el valor inverso de la función sigmoidea indica que zz puede definirse como el logaritmo de la probabilidad de la etiqueta "1" (p. ej., "el perro ladra") dividida por la probabilidad de la etiqueta "0" (p. ej., "el perro no ladra"):

$$ z = log(\frac{y}{1-y}) $$

Esta es la función sigmoidea con las etiquetas de AA:

La función sigmoidea con el eje "x" etiquetado como la suma de todos los pesos y atributos (más la ordenada al origen); el eje "y" es el resultado de probabilidad etiquetada.

Figura 2: Resultado de la regresión logística