ตรวจสอบการกำหนดกฎ L2

แบบฝึกหัดนี้มีชุดข้อมูลการฝึกขนาดเล็กที่มีเสียงดัง ในสถานการณ์เช่นนี้ การปรับมากเกินไปเป็นเรื่องที่น่ากังวลมาก โชคดี regularization อาจช่วยได้

แบบฝึกหัดนี้ประกอบด้วยงานที่เกี่ยวข้อง 3 งาน ลดความซับซ้อนในการเปรียบเทียบ ในงานทั้ง 3 รายการ ให้เรียกใช้แต่ละงานในแท็บแยกกัน

  • งานที่ 1: เรียกใช้โมเดลตามที่กำหนดไว้สำหรับ Epoch อย่างน้อย 500 รายการ หมายเหตุ ดังต่อไปนี้
    • การสูญเสียการทดสอบ
    • เดลต้าระหว่างการสูญเสียการทดสอบและการสูญเสียการฝึก
    • น้ำหนักที่เรียนรู้ของจุดสนใจและข้ามจุดสนใจ (ความหนาสัมพัทธ์ของแต่ละเส้นที่ทำงานจาก FEATURES ถึง OUTPUT แสดงน้ำหนักที่เรียนรู้สำหรับจุดสนใจหรือเครื่องหมายกากบาทจุดสนใจนั้น คุณสามารถดูค่าน้ำหนักที่แน่นอนได้โดยวางเมาส์เหนือ )
  • งานที่ 2: (ลองทำงานนี้ในแท็บแยกต่างหาก) เพิ่ม อัตราการแปลงมาตรฐานจาก 0 ถึง 0.3 จากนั้นเรียกใช้ สำหรับ Epoch อย่างน้อย 500 รายการ แล้วค้นหาคำตอบสำหรับคำถามต่อไปนี้
    • การสูญเสียการทดสอบในงานที่ 2 แตกต่างจากการสูญเสียการทดสอบในงานอย่างไร 1 เท่ากับอะไร
    • เดลต้าระหว่างการสูญเสียการทดสอบและการสูญเสียการฝึกในงานที่ 2 เป็นอย่างไร แตกต่างจากงานที่ 1 อย่างไร
    • น้ำหนักที่เรียนรู้ของแต่ละฟีเจอร์และข้ามฟีเจอร์แตกต่างกันอย่างไร จากงานที่ 2 เป็นงานที่ 1 ไหม
    • ผลลัพธ์ของคุณเป็นอย่างไรเกี่ยวกับความซับซ้อนของโมเดล
  • งานที่ 3: ทดสอบอัตราการทำให้เป็นมาตรฐาน พยายามหาค่า มูลค่าที่ดีที่สุด

(คำตอบจะปรากฏใต้แบบฝึกหัด)