Логистическая регрессия: расчет вероятности

Многие задачи требуют оценки вероятности на выходе. Логистическая регрессия — чрезвычайно эффективный механизм расчета вероятностей. Практически говоря, вы можете использовать возвращенную вероятность одним из следующих двух способов:

  • "Как есть"
  • Преобразовано в бинарную категорию.

Давайте рассмотрим, как мы могли бы использовать вероятность «как есть». Предположим, мы создаем модель логистической регрессии, чтобы предсказать вероятность того, что собака будет лаять посреди ночи. Назовем эту вероятность:

\[p(bark | night)\]

Если модель логистической регрессии предсказывает \(p(bark | night) = 0.05\), то в течение года владельцы собак должны проснуться примерно 18 раз:

\[\begin{align} startled &= p(bark | night) \cdot nights \\ &= 0.05 \cdot 365 \\ &~= 18 \end{align} \]

Во многих случаях вы будете сопоставлять выходные данные логистической регрессии с решением задачи бинарной классификации, целью которой является правильное предсказание одной из двух возможных меток (например, «спам» или «не спам»). Более поздний модуль посвящен этому.

Вам может быть интересно, как модель логистической регрессии может гарантировать, что выходные данные всегда находятся между 0 и 1. Как это бывает, сигмоидальная функция , определенная следующим образом, производит выходные данные с такими же характеристиками:

$$y = \frac{1}{1 + e^{-z}}$$

Сигмовидная функция дает следующий график:

Сигмовидная функция. Ось x представляет собой необработанное значение вывода. Ось Y простирается от 0 до +1, исключая.

Рисунок 1: Сигмовидная функция.

Если \(z\) представляет выходные данные линейного слоя модели, обученной с помощью логистической регрессии, то \(sigmoid(z)\) даст значение (вероятность) от 0 до 1. В математических терминах:

$$y' = \frac{1}{1 + e^{-z}}$$

куда:

  • \(y'\) — это результат модели логистической регрессии для конкретного примера.
  • \(z = b + w_1x_1 + w_2x_2 + \ldots + w_Nx_N\)
    • Значения \(w\) — это изученные веса модели, а \(b\) — это смещение.
    • Значения \(x\) — это значения характеристик для конкретного примера.

Обратите внимание, что \(z\) также упоминается как логарифм шансов , потому что обратная сигмоида утверждает, что \(z\) может быть определена как логарифм вероятности \(1\) (например, «собачий лай»), деленный на вероятность \(0\)(например, «собака не лает»):

$$ z = \log\left(\frac{y}{1-y}\right) $$

Вот сигмовидная функция с метками ML:

Сигмовидная функция с осью x, помеченной как сумма всех весов и признаков (плюс смещение); ось Y помечена как выход вероятности.

Рисунок 2: Выход логистической регрессии.