Nhiều bài toán yêu cầu ước tính xác suất dưới dạng kết quả. Hồi quy logistic là một cơ chế cực kỳ hiệu quả để tính xác suất. Trên thực tế, bạn có thể sử dụng xác suất được trả về theo một trong hai cách sau:
- "As nguyên"
- Đã chuyển đổi thành danh mục nhị phân.
Hãy cân nhắc cách chúng ta có thể sử dụng xác suất " nguyên trạng; Giả sử chúng ta tạo một mô hình hồi quy logistic để dự đoán xác suất một con chó sẽ sủa vào giữa đêm. Chúng ta sẽ gọi xác suất đó là:
\[p(bark | night)\]
Nếu mô hình hồi quy logistic dự đoán \(p(bark | night) = 0.05\), thì trong hơn một năm, chủ sở hữu những chú chó này sẽ bị tỉnh giấc khoảng 18 lần:
\[\begin{align} startled &= p(bark | night) \cdot nights \\ &= 0.05 \cdot 365 \\ &~= 18 \end{align} \]
Trong nhiều trường hợp, bạn sẽ liên kết đầu ra hồi quy logistic vào giải pháp này cho vấn đề phân loại nhị phân, trong đó mục tiêu là dự đoán chính xác một trong hai nhãn có thể có (ví dụ: "spam" hoặc "không phải spam". Một mô-đun sau này tập trung vào điều đó.
Bạn có thể tự hỏi làm thế nào một mô hình hồi quy logistic có thể đảm bảo đầu ra luôn nằm trong khoảng từ 0 đến 1. Khi xảy ra, hàm sigmoid (được định nghĩa như sau) sẽ tạo ra kết quả đầu ra có các đặc điểm tương tự:
Hàm sigmoid tạo ra biểu đồ sau:
Hình 1: Hàm Sigmoid.
Nếu \(z\) đại diện cho kết quả của lớp tuyến tính của một mô hình được huấn luyện bằng phép hồi quy logistic, thì \(sigmoid(z)\) sẽ cho ra một giá trị (xác suất) trong khoảng từ 0 đến 1. Về mặt toán học:
nơi:
- \(y'\) là kết quả của mô hình hồi quy logistic cho một ví dụ cụ thể.
- \(z = b + w_1x_1 + w_2x_2 + \ldots + w_Nx_N\)
- Các giá trị \(w\) là trọng số đã học của mô hình và \(b\) là các đối tượng chung sở thích.
- Giá trị \(x\) là các giá trị tính năng cho một ví dụ cụ thể.
Lưu ý rằng \(z\) còn được gọi là các nhật ký nhật ký vì nghịch đảo của sigmoid cho biết \(z\) có thể được định nghĩa là nhật ký xác suất của nhãn \(1\) (ví dụ: "dog barks") chia cho xác suất của nhãn \(0\)(ví dụ: "chó không&hl=vi;>
Dưới đây là hàm sigmoid có nhãn máy học:
Hình 2: Đầu ra hồi quy logic.
Nhấp vào biểu tượng dấu cộng để xem phép tính dự đoán hồi quy logistic.
Giả sử chúng tôi có một mô hình hồi quy logistic với ba đặc điểm giúp xác định độ chệch và trọng số như sau:
$$\begin{align} b &= 1 \\ w_1 &= 2 \\ w_2 &= -1 \\ w_3 &= 5 \end{align} $$Ngoài ra, hãy giả sử các giá trị tính năng sau cho một ví dụ nhất định:
$$\begin{align} x_1 &= 0 \\ x_2 &= 10 \\ x_3 &= 2 \end{align} $$Do đó, nhật ký lẻ:
sẽ là:
$$(1) + (2)(0) + (-1)(10) + (5)(2) = 1$$Do đó, dự đoán hồi quy logistic cho ví dụ cụ thể này sẽ là 0,731:
Hình 3: Xác suất 73,1%.