การถดถอยเชิงเส้น: แบบฝึกหัดการลดค่าของ Gradient

ในแบบฝึกหัดนี้ คุณจะได้กลับไปดูที่กราฟข้อมูลประสิทธิภาพการใช้เชื้อเพลิงจากแบบฝึกหัดพารามิเตอร์ แต่คราวนี้คุณจะ ใช้การไล่ระดับความชันเพื่อเรียนรู้ค่าถ่วงน้ำหนักและค่าอคติที่เหมาะสมที่สุดสำหรับโมเดลเชิงเส้น ที่ลดการสูญเสียให้เหลือน้อยที่สุด

ทํางาน 3 อย่างด้านล่างกราฟให้เสร็จสมบูรณ์

ภาพข้อมูลแบบอินเทอร์แอกทีฟนี้อาจสร้างภาพที่กะพริบเมื่อตั้งค่าอัตราการเรียนรู้สูง ซึ่งอาจส่งผลต่อผู้ที่มีความไวต่อแสง

งานที่ 1: ปรับแถบเลื่อนอัตราการเรียนรู้ใต้กราฟเพื่อตั้งค่า อัตราการเรียนรู้เป็น 0.03 คลิกปุ่มเริ่มเพื่อเรียกใช้การไล่ระดับสี

การฝึกโมเดลใช้เวลานานเท่าใดจึงจะบรรจบกัน (มีค่าการสูญเสียต่ำสุดที่เสถียร) ค่า MSE เมื่อโมเดลบรรจบกันคืออะไร ค่าถ่วงน้ำหนักและค่าอคติใดที่ทำให้เกิดค่านี้

คลิกไอคอนบวกเพื่อดูโซลูชันของเรา

เมื่อตั้งค่าอัตราการเรียนรู้เป็น 0.03 โมเดลจะบรรจบกันในเวลาประมาณ 30 วินาที โดยมี MSE เท่ากับ 2.67 และมีค่าน้ำหนักและค่าอคติเป็น -1.14 และ 20.389 ตามลำดับ ซึ่งแสดงให้เห็นว่าเราได้ เลือกค่าอัตราการเรียนรู้ที่ดี

งานที่ 2: คลิกปุ่มรีเซ็ตใต้กราฟเพื่อรีเซ็ตค่า Weight และ Bias ในกราฟ ปรับแถบเลื่อนอัตราการเรียนรู้เป็นค่าประมาณ 1.10e^–5 คลิกปุ่มเริ่มเพื่อเรียกใช้การไล่ระดับสี

คุณสังเกตเห็นอะไรเกี่ยวกับระยะเวลาที่ใช้ในการฝึกโมเดลให้บรรจบกันในครั้งนี้

คลิกไอคอนบวกเพื่อดูวิธีแก้ปัญหา

หลังจากผ่านไปหลายนาที การฝึกโมเดลยังคงไม่บรรจบกัน การอัปเดตค่า Weight และ Bias เล็กน้อย ยังคงส่งผลให้ค่าการสูญเสียลดลงเล็กน้อย ซึ่งแสดงให้เห็นว่าการเลือกอัตราการเรียนรู้ที่สูงขึ้นจะช่วยให้การไล่ระดับความชันค้นหาค่าถ่วงน้ำหนักและค่าอคติที่เหมาะสมได้เร็วขึ้น

งานที่ 3: คลิกปุ่มรีเซ็ตใต้กราฟเพื่อรีเซ็ตค่า Weight และ Bias ในกราฟ ปรับแถบเลื่อนอัตราการเรียนรู้ขึ้นไปจนถึง 1 คลิกปุ่มเริ่มเพื่อเรียกใช้การไล่ระดับสี

ค่าการสูญเสียจะเกิดอะไรขึ้นเมื่อการไล่ระดับความชันทำงาน การฝึกโมเดล จะใช้เวลานานเท่าใดจึงจะบรรจบกันในครั้งนี้

คลิกไอคอนบวกเพื่อดูวิธีแก้ปัญหา

ค่าการสูญเสียจะผันผวนอย่างมากเมื่อมีค่าสูง (MSE มากกว่า 300) ซึ่งบ่งชี้ว่าอัตราการเรียนรู้สูงเกินไป และการฝึกโมเดล จะไม่บรรลุการบรรจบกัน