การเผยแผ่ย้อนกลับเป็นอัลกอริทึมการฝึกที่ใช้กันมากที่สุดสำหรับโครงข่ายระบบประสาทเทียม
ทำให้สามารถใช้การไล่ระดับสีสำหรับโครงข่ายประสาทแบบหลายชั้น
TensorFlow จัดการกับการแพร่พันธุ์แบบย้อนกลับโดยอัตโนมัติ คุณจึงไม่ต้องเข้าใจอัลกอริทึมอย่างลึกซึ้ง หากต้องการทำความเข้าใจเกี่ยวกับวิธีการทำงาน ให้ทำตามขั้นตอนต่อไปนี้
คำอธิบายด้วยภาพของอัลกอริทึมการนำไปใช้ในภายหลัง
ขณะเลื่อนดูคำอธิบายก่อนหน้านี้ โปรดคำนึงถึงสิ่งต่อไปนี้
- ข้อมูลไหลผ่านกราฟ
- การเขียนโปรแกรมแบบไดนามิกช่วยให้เราหลีกเลี่ยงการคำนวณเส้นทางจำนวนมากแบบทวีคูณผ่านกราฟได้อย่างไร "การเขียนโปรแกรมแบบไดนามิก" ในที่นี้หมายถึงการบันทึกผลลัพธ์
ตัวกลางในการส่งต่อและย้อนกลับ
ตาข่ายสำหรับฝึกใช้ประสาทเทียม
Backpro: สิ่งที่ควรทราบ
- การไล่ระดับสีเป็นสิ่งสำคัญ
- หากแยกแยะความแตกต่างได้ เราก็น่าจะเรียนรู้จากสิ่งนั้น
Backpro: สิ่งที่ควรทราบ
- การไล่ระดับสีเป็นสิ่งสำคัญ
- หากแยกแยะความแตกต่างได้ เราก็น่าจะเรียนรู้จากสิ่งนั้น
- การไล่ระดับสีอาจหายไป
- เลเยอร์เพิ่มเติมแต่ละชั้นอาจลดสัญญาณและเสียงรบกวนได้อย่างต่อเนื่อง
- ReLus มีประโยชน์ที่นี่
Backpro: สิ่งที่ควรทราบ
- การไล่ระดับสีเป็นสิ่งสำคัญ
- หากแยกแยะความแตกต่างได้ เราก็น่าจะเรียนรู้จากสิ่งนั้น
- การไล่ระดับสีอาจหายไป
- เลเยอร์เพิ่มเติมแต่ละชั้นอาจลดสัญญาณและเสียงรบกวนได้อย่างต่อเนื่อง
- ReLus มีประโยชน์ที่นี่
- การไล่ระดับสีอาจระเบิดได้
- อัตราการเรียนรู้เป็นสิ่งสำคัญสำหรับที่นี่
- การปรับข้อมูลเป็นกลุ่ม (ปุ่มที่มีประโยชน์) ช่วยคุณได้
Backpro: สิ่งที่ควรทราบ
- การไล่ระดับสีเป็นสิ่งสำคัญ
- หากแยกแยะความแตกต่างได้ เราก็น่าจะเรียนรู้จากสิ่งนั้น
- การไล่ระดับสีอาจหายไป
- เลเยอร์เพิ่มเติมแต่ละชั้นอาจลดสัญญาณและเสียงรบกวนได้อย่างต่อเนื่อง
- ReLus มีประโยชน์ที่นี่
- การไล่ระดับสีอาจระเบิดได้
- อัตราการเรียนรู้เป็นสิ่งสำคัญสำหรับที่นี่
- การปรับข้อมูลเป็นกลุ่ม (ปุ่มที่มีประโยชน์) ช่วยคุณได้
- เลเยอร์ ReLu อาจตายได้
- ทำใจให้สงบและลดอัตราการเรียนรู้
การปรับค่าคุณลักษณะให้เป็นมาตรฐาน
- เราอยากให้ฟีเจอร์ต่างๆ ของเรามีขนาดที่สมเหตุสมผล
- ประมาณ 0 กึ่งกลาง ช่วง [-1, 1] มักจะทำงานได้ดี
- ช่วยให้ไล่ระดับสีมาบรรจบกัน หลีกเลี่ยงกับดัก NaN
- การหลีกเลี่ยงค่าที่ผิดปกติอาจช่วยได้เช่นกัน
- โดยใช้วิธีการมาตรฐาน 2-3 วิธีดังนี้
- การปรับสเกลเชิงเส้น
- ฝาครอบแบบแข็ง (แบบคลิปหนีบ) จนถึงขนาดสูงสุด ขั้นต่ำ
- การปรับขนาดบันทึก
การปรับให้ออกเป็นประจำ
- Dropout: การสร้างสม่ำเสมออีกรูปแบบหนึ่งที่เป็นประโยชน์สำหรับ NN
- ทำงานโดยการ "ทิ้ง" หน่วยต่างๆ แบบสุ่มในเครือข่ายสำหรับขั้นตอนการไล่ระดับสี 1 ขั้น
- มีความเกี่ยวข้องกับโมเดลทั้งหมดที่นี่
- ยิ่งคุณออกห่างมาก ยิ่งมีการปรับเปลี่ยน
- 0.0 = ไม่มีการปรับให้สัญญาณขาดหาย
- 1.0 = ยกเลิกทุกอย่าง ไม่ได้เรียนรู้อะไรเลย
- ค่ากลางมีประโยชน์มากกว่า
