Điều chỉnh L1
Khám phá các lựa chọn bên dưới.
Hãy tưởng tượng một mô hình tuyến tính có 100 đối tượng đầu vào:
10 sản phẩm cung cấp nhiều thông tin.
90 là số không cung cấp thông tin.
Giả sử tất cả các đối tượng đều có giá trị nằm trong khoảng từ -1 đến 1.
Câu nào sau đây là đúng?
Việc chuẩn hoá L1 sẽ khuyến khích nhiều trọng số không cung cấp thông tin gần như (nhưng không chính xác) 0.0.
Nói chung, việc chuẩn hoá L1 của hàm lambda đầy đủ có xu hướng
khuyến khích các tính năng không cung cấp thông tin đạt trọng số chính xác là 0,0.
Không giống như chính quy L2, quy trình chính quy L1 "đẩy" mạnh về 0,0 bất kể trọng số từ 0,0 bao xa.
Việc chính quy L1 sẽ khuyến khích hầu hết các trọng số không cung cấp thông tin chính xác là 0,0.
Việc chuẩn hoá L1 của hàm lambda đầy đủ có xu hướng khuyến khích các trọng số không mang tính thông tin trở thành 0,0. Khi làm như vậy, các tính năng không cung cấp thông tin sẽ rời khỏi mô hình.
Việc điều chỉnh L1 có thể khiến các tính năng cung cấp thông tin có trọng số chính xác là 0,0.
Hãy cẩn thận – việc chuẩn hoá L1 có thể khiến các loại tính năng sau có trọng số chính xác là 0:
Các tính năng cung cấp thông tin kém.
Các tính năng cung cấp nhiều thông tin ở nhiều phạm vi.
Các tính năng thông tin tương quan chặt chẽ với các tính năng có tính thông tin tương tự khác.
L1 so với L2 Chuẩn hoá
Khám phá các lựa chọn bên dưới.
Hãy tưởng tượng một mô hình tuyến tính có 100 đối tượng đầu vào, tất cả đều có giá trị nằm trong khoảng từ -1 đến 1:
10 sản phẩm cung cấp nhiều thông tin.
90 là số không cung cấp thông tin.
Kiểu điều chỉnh nào sẽ tạo ra mô hình nhỏ hơn?
điều chỉnh L2.
Việc chính quy L2 hiếm khi làm giảm số lượng tính năng.
Nói cách khác, việc chính quy L2 hiếm khi làm giảm kích thước mô hình.
chính quy L1.
Việc chính quy L1 có xu hướng làm giảm số lượng tính năng. Nói cách khác, việc chính quy L1 thường làm giảm kích thước mô hình.