Kiểm tra quy trình chuẩn hoá L₁

Bài tập này có một chương trình huấn luyện nhỏ, hơi ồn tập dữ liệu. Trong loại bối cảnh này, việc điều chỉnh quá mức là rất đáng lo ngại. Thường xuyên hoá có thể hữu ích, nhưng đó là hình thức điều chỉnh nào?

Bài tập này bao gồm 5 nhiệm vụ liên quan. Để đơn giản hoá thông tin so sánh trong 5 công việc, hãy chạy từng công việc trong một thẻ riêng. Lưu ý rằng độ dày của các đường kết nối FEATURES và OUTPUT biểu thị trọng số tương đối của từng đối tượng.

Việc cần làm	Loại điều chỉnh	Tỷ lệ chuẩn hoá (lambda)
1	L2	0,1
2	L2	0,3
3	L1	0,1
4	L1	0,3
5	L1	thử nghiệm

Câu hỏi:

1. Cách chuyển từ chế độ điều chỉnh L₂ sang L₁ ảnh hưởng đến mức chênh lệch giữa số lần thất bại trong kiểm thử và số lần huấn luyện không?
2. Cách chuyển từ chế độ điều chỉnh L₂ sang L₁ ảnh hưởng đến trọng số học được là gì?
3. Việc tăng ảnh hưởng của tỷ lệ điều chỉnh (lambda) L₁ như thế nào trọng số học được là gì?

(Câu trả lời sẽ xuất hiện ngay bên dưới bài tập).

---

---

Hãy nhấp vào biểu tượng dấu cộng để xem câu trả lời.

1. Chuyển đổi đáng kể từ chế độ điều chỉnh L₂ sang L₁ làm giảm độ lệch giữa tổn thất trong kiểm thử và tổn thất trong quá trình huấn luyện.
2. Chuyển từ trình điều chỉnh điều chỉnh tần suất L₂ sang L₁ tất cả trọng số đã học.
3. Thường thì việc tăng tốc độ điều chỉnh L₁ sẽ gây ảnh hưởng trọng số học được; tuy nhiên, nếu tỷ lệ chuẩn hoá quá cao, mô hình không thể hội tụ và tổn thất rất cao.