Thông thường có nghĩa là phạt độ phức tạp của một mô hình để giảm tình trạng trùng lặp.
Quy tắc hoá để đơn giản hoá
Đường cong tổng quát
Sự phức tạp của mô hình phạt
- Chúng tôi muốn tránh tính phức tạp của mô hình khi có thể.
- Chúng tôi có thể đưa ý tưởng này vào hoạt động tối ưu hoá mà chúng tôi thực hiện trong thời gian huấn luyện.
- Giảm thiểu rủi ro theo thực nghiệm:
- nhắm đến lỗi huấn luyện thấp
$$ \text{minimize: } Loss(Data\;|\;Model) $$
Sự phức tạp của mô hình phạt
- Chúng tôi muốn tránh tính phức tạp của mô hình khi có thể.
- Chúng tôi có thể đưa ý tưởng này vào hoạt động tối ưu hoá mà chúng tôi thực hiện trong thời gian huấn luyện.
- Giảm thiểu rủi ro về cấu trúc:
- nhắm đến lỗi huấn luyện thấp
- trong khi vẫn cân bằng giữa sự phức tạp
$$ \text{minimize: } Loss(Data\;|\;Model) + complexity(Model) $$
Quy chuẩn
- Làm thế nào để xác định độ phức tạp(Mô hình)?
Quy chuẩn
- Làm thế nào để xác định độ phức tạp(Mô hình)?
- Ưu tiên trọng số nhỏ hơn
Quy chuẩn
- Làm thế nào để xác định độ phức tạp(Mô hình)?
- Ưu tiên trọng số nhỏ hơn
- Việc phân biệt từ chỉ số này sẽ phát sinh chi phí
- Có thể mã hoá ý tưởng này thông qua quy trình chuẩn hoá L2 (còn gọi là đỉnh)
- độ phức tạp(mô hình) = tổng các bình phương của trọng số
- phạt các quả tạ thực sự lớn
- Đối với mô hình tuyến tính: ưu tiên đường dốc phẳng hơn
- Tiếng Bayesian trước:
- trọng số phải ở giữa khoảng 0
- trọng số phải được phân phối bình thường
Hàm giảm chất lượng với quy trình chính quy L2
$$ Loss(Data|Model) + \lambda \left(w_1^2 + \ldots + w_n^2 \right) $$
\(\text{Where:}\)
\(Loss\text{: Aims for low training error}\)
\(\lambda\text{: Scalar value that controls how weights are balanced}\)
\(w_1^2+\ldots+w_n^2\text{: Square of}\;L_2\;\text{norm}\)