Regresión logística: Cálculo de probabilidades

Tiempo estimado: 10 minutos

Muchos problemas exigen como resultado el cálculo de una probabilidad. La regresión logística es un mecanismo extremadamente eficiente para calcular probabilidades. En la práctica, puedes usar la probabilidad resultante de una de las dos maneras siguientes:

• "tal cual"
• convertida en una categoría binaria

Veamos cómo podemos usar la probabilidad "tal cual". Supongamos que creamos un modelo de regresión logística para predecir la probabilidad de que un perro ladre durante la noche. A esa probabilidad la llamaremos:

  p(bark | night)

Si el modelo de regresión logística predice una probabilidad p(bark | night) de 0.05, en un año, los dueños de perros se despertarían aproximadamente 18 veces:

  startled = p(bark | night) * nights
  18 ~= 0.05 * 365

En muchos casos, representarás el resultado de la regresión logística como la solución a un problema de clasificación binaria, donde el objetivo es predecir correctamente una de dos etiquetas posibles (p. ej., "es spam" o "no es spam"). Más adelante, hay un módulo dedicado a ese tema.

Posiblemente te preguntes de qué manera un modelo de regresión logística puede garantizar un resultado que siempre esté entre 0 y 1. Como suele pasar, una función sigmoidea, definida a continuación, produce un resultado con esas mismas características:

$$y = \frac{1}{1 + e^{-z}}$$

La función sigmoidea genera la siguiente representación:

Figura 1: Función sigmoidea

Si z representa el resultado de la capa lineal de un modelo entrenado con regresión logística, la función sigmoidea (z) generará un valor (una probabilidad) entre 0 y 1. En términos matemáticos:

$$y' = \frac{1}{1 + e^{-(z)}}$$

donde:

• y' es el resultado del modelo de regresión logística para un ejemplo en particular.
• z es b + w₁x₁ + w₂x₂ + ... w_Nx_N
  • Los valores w son los pesos aprendidos del modelo, y b es la ordenada al origen.
  • Los valores x son los valores de atributo para un ejemplo en particular.

Debes tener en cuenta que z también se representa como logaritmo de probabilidad, porque el valor inverso de la función sigmoidea indica que zz puede definirse como el logaritmo de la probabilidad de la etiqueta "1" (p. ej., "el perro ladra") dividida por la probabilidad de la etiqueta "0" (p. ej., "el perro no ladra"):

$$ z = log(\frac{y}{1-y}) $$

Esta es la función sigmoidea con las etiquetas de AA:

Figura 2: Resultado de la regresión logística

Haz clic en la flecha del menú desplegable para ver el cálculo de inferencia de una regresión logística de muestra.

Imagina que tuviéramos un modelo de regresión logística con tres atributos que aprendieran los siguientes pesos y polarizaciones:

• b = 1
• w₁ = 2
• w₂ = -1
• w₃ = 5

Imagina los valores de los siguientes atributos para un ejemplo dado:

• x₁ = 0
• x₂ = 10
• x₃ = 2

Por lo tanto, los logaritmos de probabilidad:

$$b + w_1x_1 + w_2x_2 + w_3x_3$$

serán:

  (1) + (2)(0) + (-1)(10) + (5)(2) = 1

En consecuencia, la predicción de la regresión logística para este ejemplo en particular será 0.731:

$$y' = \frac{1}{1 + e^{-(1)}} = 0.731$$

Figura 3: Probabilidad del 73.1%

Términos clave

clasificación binaria	regresión logística
función sigmoidea

Centro de ayuda