Hãy khám phá các lựa chọn bên dưới.
Hãy tưởng tượng một mô hình tuyến tính có hai đối tượng tương quan chặt chẽ; tức là
hai tính năng này gần như giống hệt nhau nhưng chỉ là một bản sao
tính năng chứa một lượng nhỏ tiếng ồn ngẫu nhiên. Nếu chúng ta huấn luyện
với quy tắc điều chỉnh L2 thì điều gì sẽ xảy ra với trọng số
cho hai tính năng này không?
Cả hai tính năng này đều sẽ có trọng số gần như tương đương và vừa phải.
Quy trình điều chỉnh L2 sẽ buộc các tính năng này
có trọng số gần tương đương, xấp xỉ một nửa
đáng lẽ họ sẽ có một trong hai tính năng
đã tham gia mô hình.
Một đối tượng sẽ có trọng số lớn; gói còn lại sẽ có
trọng số gần 0,0.
Quy trình điều chỉnh L2 ảnh hưởng nhiều hơn đến các trọng số lớn
so với trọng số nhỏ. Vì vậy, ngay cả khi một cân nặng bắt đầu giảm
nhanh hơn các thông số khác, thì quá trình điều chỉnh L2 sẽ
có xu hướng buộc trọng lượng lớn hơn giảm nhanh hơn
trọng số càng nhỏ.
Một đối tượng sẽ có trọng số lớn; gói còn lại sẽ có
có trọng số chính xác là 0,0.
Quy tắc điều chỉnh L2 hiếm khi bắt buộc
có trọng số chính xác về 0,0. Ngược lại, quá trình điều chỉnh L1
(thảo luận sau) không buộc trọng số về chính xác 0.0.