Giảm mức độ mất mát: Tối ưu hoá tỷ lệ học tập

Thời gian ước tính: 15 phút

Bài tập 1

Đặt tốc độ học là 0,03 trên thanh trượt. Tiếp tục nhấn nút BƯỚC cho đến khi thuật toán độ dốc chuyển đổi đạt đến điểm tối thiểu của đường cong suy hao. Mất bao nhiêu bước?

Giải pháp

Độ dốc của dốc giảm xuống mức tối thiểu của đường cong trong 40 bước.

Bài tập 2

Bạn có thể đạt được mức tối thiểu nhanh hơn với tỷ lệ học tập cao hơn không? Đặt tốc độ học là 0, 1 và tiếp tục nhấn BƯỚC cho đến khi độ dốc giảm xuống mức tối thiểu. Thời gian này mất bao nhiêu bước?

Giải pháp

Độ dốc của dốc giảm xuống mức tối thiểu của đường cong trong 11 bước.

Bài tập 3

Làm sao để có tỷ lệ học tập lớn hơn nữa. Hãy đặt lại biểu đồ, đặt tỷ lệ học tập là 1 và cố gắng đạt ngưỡng tối thiểu của đường cong suy hao. Chuyện gì đã xảy ra lần này?

Giải pháp

Độ dốc của dốc sẽ không bao giờ đạt mức tối thiểu. Do đó, các bước tăng dần kích thước. Mỗi bước sẽ nhảy qua lại trên bát, leo đường cong thay vì giảm dần xuống dưới cùng.

Thách thức không bắt buộc

Bạn có thể tìm thấy tỷ lệ học tập Goldilocks cho đường cong này, trong đó độ dốc của gradient đạt đến điểm tối thiểu trong số ít bước nhất không? Số bước tối thiểu cần có để đạt mức tối thiểu là bao nhiêu?

Giải pháp

Tỷ lệ học tập Goldilocks đối với dữ liệu này nằm trong khoảng từ 0,2 đến 0,3, sẽ đạt mức tối thiểu trong ba hoặc bốn bước.

LƯU Ý: Trong thực tế, việc tìm ra tỷ lệ học tập "hoàn hảo" (hoặc gần như không hoàn hảo) là không cần thiết để đào tạo mô hình thành công. Mục tiêu là đạt được tốc độ học đủ lớn để độ dốc hội tụ hội tụ một cách hiệu quả, nhưng không lớn đến mức không bao giờ hội tụ.

Trung tâm trợ giúp