ในการฝึกโมเดล เราต้องมีวิธีที่ดีในการลดการสูญเสียโมเดล วิธีการแบบซ้ำๆ เป็นวิธีหนึ่งที่ใช้กันอย่างแพร่หลายในการลดการสูญเสีย และทำได้ง่ายและมีประสิทธิภาพพอๆ กับการเดินลงเขา
ลดการสูญเสีย
เราจะลดการสูญเสียได้อย่างไร
- ไฮเปอร์พารามิเตอร์คือการตั้งค่ากำหนดที่ใช้ในการปรับแต่งวิธีฝึกโมเดล
- อนุพันธ์ของ (y - y')2 ที่พิจารณาน้ำหนักและการให้น้ำหนักพิเศษจะช่วยให้เราเห็นการเปลี่ยนแปลงของการสูญเสียในตัวอย่างที่ระบุ
- คำนวณและนูนง่าย
- เราจึงดำเนินการขั้นตอนเล็กๆ ในทิศทางที่จะลดการสูญเสียให้น้อยที่สุดซ้ำๆ
- เราเรียกสิ่งเหล่านี้ว่าขั้นตอนการไล่ระดับสี (แต่จริงๆ แล้วเป็นขั้นตอนการไล่ระดับสีเชิงลบ)
- กลยุทธ์นี้เรียกว่าการไล่ระดับสี
บล็อกแผนภาพการไล่ระดับสี
- ลองใช้แบบฝึกหัดการไล่ระดับสี
- เมื่อออกกำลังกายเสร็จแล้ว ให้กดเล่น ▶ เพื่อดำเนินการต่อ
การเริ่มต้นน้ำหนัก
- สำหรับปัญหานูนขึ้นมา น้ำหนักอาจเริ่มต้นที่ใดก็ได้ (เช่น 0 ทั้งหมด)
- นูน: ลองนึกถึงรูปทรงถ้วย
- อย่างน้อย 1 รายการ
การเริ่มต้นน้ำหนัก
- สำหรับปัญหานูนขึ้นมา น้ำหนักอาจเริ่มต้นที่ใดก็ได้ (เช่น 0 ทั้งหมด)
- นูน: ลองนึกถึงรูปทรงถ้วย
- อย่างน้อย 1 รายการ
- การคาดเดาล่วงหน้า: ไม่เป็นจริงสำหรับตาข่ายประสาท
- ไม่มีคอนเว็กซ์: ลองนึกถึงลังไข่
- ค่าขั้นต่ำมากกว่า 1 รายการ
- การพึ่งพาค่าเริ่มต้นอย่างมาก
การไล่ระดับสีแบบ SGD และ Mini-Batch
- สามารถคำนวณการไล่ระดับสีบนชุดข้อมูลทั้งชุดในแต่ละขั้นตอน แต่กลายเป็นว่าไม่จำเป็น
- การประมวลผลการไล่ระดับสีบนตัวอย่างข้อมูลขนาดเล็กทำงานได้ดี
- รับตัวอย่างแบบสุ่มใหม่ในทุกขั้นตอน
- การไล่ระดับสีแบบเฉดสี: ครั้งละ 1 ตัวอย่าง
- การไล่ระดับสีแบบมินิแบตช์: กลุ่ม 10-1,000
- การสูญเสียและการไล่ระดับสีจะเป็นค่าเฉลี่ยในกลุ่ม