L2 Chính quy
Khám phá các lựa chọn bên dưới.
Hãy tưởng tượng một mô hình tuyến tính có 100 đối tượng đầu vào:
10 sản phẩm cung cấp nhiều thông tin.
90 là số không cung cấp thông tin.
Giả sử tất cả các đối tượng đều có giá trị nằm trong khoảng từ -1 đến 1.
Câu nào sau đây là đúng?
Việc chính quy L2 sẽ khuyến khích nhiều
trọng số không mang tính thông tin gần như (nhưng không chính xác) 0,0.
Có, việc chính quy L2 khuyến khích trọng số gần bằng 0, nhưng không chính xác là 0.
Việc chính quy L2 sẽ khuyến khích hầu hết các trọng số không mang tính thông tin có giá trị chính xác là 0.0.
Việc chính quy L2 không có xu hướng buộc trọng số chính xác là 0.0. Việc điều chỉnh L2 sẽ ảnh hưởng đến trọng số lớn hơn trọng số nhỏ hơn. Khi trọng số tiến gần đến 0, L2 sẽ "đẩy" ít mạnh hơn về phía 0.0.
Việc chính quy L2 có thể khiến mô hình có trọng số vừa phải đối với một số tính năng không cung cấp thông tin.
Điều đáng ngạc nhiên là điều này có thể xảy ra khi một tính năng không cung cấp thông tin lại có sự tương quan với nhãn đó. Trong trường hợp này, mô hình cung cấp không chính xác các tính năng không cung cấp thông tin như một số "thông tin đóng góp" đáng lẽ phải dành cho các tính năng cung cấp thông tin.
L2 Các tính năng chính quy và tương quan
Khám phá các lựa chọn bên dưới.
Hãy tưởng tượng một mô hình tuyến tính có hai đối tượng có tương quan chặt chẽ; nghĩa là 2 đối tượng này là bản sao gần giống hệt nhau của một đối tượng nhưng một đối tượng chứa một lượng nhỏ nhiễu ngẫu nhiên. Nếu chúng tôi huấn luyện mô hình này bằng quy tắc điều chỉnh L2, điều gì sẽ xảy ra với các trọng số cho 2 tính năng này?
Cả hai tính năng sẽ có trọng số tương đối bằng nhau và vừa phải.
Việc chuẩn hoá L2 sẽ buộc các tính năng này có trọng số gần tương đương, xấp xỉ một nửa so với trọng số lẽ ra chúng chỉ có một trong hai tính năng có trong mô hình.
Một tính năng sẽ có trọng số lớn trong khi tính năng còn lại sẽ có trọng số gần bằng 0,0.
Việc điều chỉnh L2 sẽ ảnh hưởng đến trọng số lớn hơn so với trọng số nhỏ. Vì vậy, ngay cả khi một trọng số bắt đầu giảm nhanh hơn trọng số còn lại, việc chính quy L2 sẽ có xu hướng buộc trọng số lớn hơn giảm nhanh hơn trọng số nhỏ hơn.
Một tính năng sẽ có trọng số lớn; tính năng còn lại sẽ có trọng số chính xác là 0,0.
Việc chính quy L2 hiếm khi buộc trọng số phải chính xác bằng 0.0. Ngược lại, việc chính quy hoá L1 (sẽ thảo luận sau) có buộc trọng số chính xác là 0.0.