โอเวอร์ครอส

ก่อนดูวิดีโอหรืออ่านเอกสารประกอบ โปรด แบบฝึกหัดนี้ที่สำรวจการใช้การข้ามฟีเจอร์มากเกินไป

งานที่ 1: เรียกใช้โมเดลตามที่เป็นอยู่ พร้อมด้วยการข้ามผลิตภัณฑ์ที่ระบุทั้งหมด ใหม่ๆ โมเดลนี้จะมีความเชื่อมโยงกับข้อมูลที่น่าประหลาดใจไหม ปัญหาคืออะไร

งานที่ 2: ลองนำฟีเจอร์ข้ามผลิตภัณฑ์ที่หลากหลายออกเพื่อปรับปรุง ประสิทธิภาพ (แม้ว่าจะเพียงเล็กน้อยเท่านั้น) เหตุใดจึงควรนำฟีเจอร์ออก เพื่อปรับปรุงประสิทธิภาพ

(คำตอบจะปรากฏใต้แบบฝึกหัด)

---

---

คลิกไอคอนบวกเพื่อดูคำตอบของงานที่ 1

น่าประหลาดใจที่ขอบเขตการตัดสินใจของโมเดลดูประหลาดๆ โดยเฉพาะอย่างยิ่ง จะมีแถบหนึ่งด้านซ้ายบน ที่บอกใบ้เป็นสีน้ำเงิน ไม่มีข้อมูลสนับสนุนที่มองเห็นได้ในข้อมูลดังกล่าว

โปรดสังเกตความหนาสัมพัทธ์ของเส้น 5 เส้นจาก INPUT ถึง OUTPUT เส้นเหล่านี้แสดงน้ำหนักสัมพัทธ์ของจุดสนใจห้าแห่ง เส้นที่ออกจาก X₁ และ X₂ มีความหนากว่า ที่มาจากกากบาทขวาของฟีเจอร์ ดังนั้น เครื่องหมายกากบาทเด่น ส่งผลต่อโมเดลน้อยกว่าฟีเจอร์ปกติ (ไม่ข้าม) มาก

คลิกไอคอนบวกเพื่อดูคำตอบของงานที่ 2

การลบการข้ามฟีเจอร์ทั้งหมดจะให้รูปแบบที่สมเหตุสมผลมากขึ้น (มี ไม่ใช่ขอบเขตโค้งที่ชี้ให้เห็นถึงการปรับมากเกินไป) และทำให้การสูญเสียการทดสอบบรรจบกัน

หลังจากการทำซ้ำ 1,000 ครั้ง ค่าการสูญเสียการทดสอบควรมีค่าต่ำกว่าเล็กน้อย กว่าตอนที่ฟีเจอร์กากบาททำงานอยู่ (แม้ว่า อาจแตกต่างกันไปเล็กน้อย โดยขึ้นอยู่กับชุดข้อมูล)

โดยพื้นฐานแล้ว ข้อมูลในแบบฝึกหัดนี้จะเป็นข้อมูลเชิงเส้นและสัญญาณรบกวน หากเราใช้โมเดลที่ซับซ้อนเกินไป เช่น โมเดลที่มีจำนวนมากเกินไป เราให้โอกาสระบบได้ปรับให้เข้ากับข้อมูลการฝึก มักมีค่าใช้จ่ายในการทำให้โมเดลทำงานได้ไม่ดีในข้อมูลทดสอบ