หน้านี้มีอภิธานศัพท์ของลําดับโมเดล สําหรับอภิธานศัพท์ทั้งหมด คลิกที่นี่
B
Bigram
N-gram ซึ่ง N=2
E
ปัญหาการระเบิดเพิ่มขึ้น
แนวโน้มของการไล่ระดับสีในโครงข่ายประสาทแบบลึก (โดยเฉพาะเครือข่ายประสาทเทียมแบบเกิดซ้ํา) มีความลาดชันอย่างไม่น่าเชื่อ (สูง) การไล่ระดับสีที่ชันมากมักทําให้การอัปเดตน้ําหนักที่สูงมากของโหนดแต่ละรายการในเครือข่ายประสาทเทียมระดับลึก
โมเดลที่ได้รับผลกระทบจากปัญหาการเพิ่มขึ้นอย่างฉับพลันนั้นเป็นเรื่องที่ยากหรือฝึกไม่ได้ การตัดการไล่ระดับสี สามารถบรรเทาปัญหานี้
เปรียบเทียบกับปัญหาเกี่ยวกับการไล่ระดับสีที่สูญหาย
F
ลืมประตู
ส่วนของเซลล์หน่วยความจําระยะสั้นที่ควบคุมการไหลของข้อมูลผ่านเซลล์ ลืมเกตจะรักษาบริบทไว้โดยการเลือกข้อมูลที่จะทิ้งจากสถานะของเซลล์
G
การตัดการไล่ระดับสี
กลไกที่ใช้กันโดยทั่วไปในการลดปัญหาเกี่ยวกับการไล่ระดับสีระเบิดโดยการจํากัด (การตัดทอน) ค่าสูงสุดของการไล่ระดับสีเมื่อใช้การลดระดับการไล่ระดับสีเพื่อฝึกโมเดล
L
หน่วยความจําระยะสั้น (LSTM)
เซลล์ประเภทหนึ่งในโครงข่ายระบบประสาทเทียมที่ใช้ในการประมวลผลลําดับของข้อมูลในแอปพลิเคชัน เช่น การจดจําลายมือ การแปลด้วยคอมพิวเตอร์ และคําอธิบายภาพ LSTM จัดการกับปัญหาการไล่ระดับสีที่สูญหายไปซึ่งเกิดขึ้นเมื่อฝึก RNN เนื่องจากลําดับข้อมูลนาน โดยการเก็บประวัติไว้ในสถานะหน่วยความจําภายในตามอินพุตและบริบทใหม่จากเซลล์ก่อนหน้าใน RNN
ต่ําสุด
ตัวย่อของหน่วยความจําระยะสั้น
N
N-G-ram
ลําดับของคํา N ลําดับ เช่น โกรธจริงขนาด 2 กรัม เนื่องจากคําสั่งซื้อมีความเกี่ยวข้องกันอย่างเห็นได้ชัดเลยทีเดียวเป็น 2 กรัมที่แตกต่างจากโมโหสุดๆ
N | ชื่อสําหรับ N-gram ประเภทนี้ | ตัวอย่าง |
---|---|---|
2 | Bigram หรือ 2 กรัม | จะไปที่นั่น กินข้าวเที่ยง กินข้าวเย็น |
3 | รูปสามเหลี่ยมหรือ 3 กรัม | กินหนูตาบอด 3 ตัว กับตากระดิ่งมากเกินไป |
4 | 4 กรัม | เดินในสวน ฝุ่นละอองในลม เด็กชายกินถั่วเลนทิล |
โมเดลการทําความเข้าใจภาษาธรรมชาติจํานวนมากจะใช้ N-grams เพื่อคาดคะเนคําถัดไปที่ผู้ใช้จะพิมพ์หรือพูด ตัวอย่างเช่น สมมติว่าผู้ใช้พิมพ์สามตาบอด โมเดล NLU ที่ใช้รูปสามเหลี่ยมมีแนวโน้มที่จะคาดการณ์ว่าผู้ใช้จะพิมพ์เมาส์ต่อไป
ตรงข้ามกับ N-grams กับ bag of word ซึ่งก็คือชุดคําที่ไม่ได้เรียงลําดับ
ขวา
โครงข่ายระบบประสาทเทียมแบบเกิดซ้ํา
โครงข่ายระบบประสาทเทียมที่ตั้งใจจะทํางานหลายครั้ง โดยที่บางส่วนของฟีดที่ทํางานอยู่แต่ละฟีดจะทํางานครั้งถัดไป โดยเฉพาะอย่างยิ่ง เลเยอร์ที่ซ่อนจากการเรียกใช้ครั้งก่อนมอบส่วนหนึ่งของอินพุตไปยังเลเยอร์ที่ซ่อนอยู่เดียวกันในการเรียกใช้ครั้งต่อไป โครงข่ายระบบประสาทเทียมแบบปกติมีประโยชน์อย่างยิ่งในการประเมินลําดับ เพื่อให้เลเยอร์ที่ซ่อนอยู่เรียนรู้จากการเรียกใช้โครงข่ายประสาทในส่วนก่อนหน้าของลําดับก่อนหน้า
ตัวอย่างเช่น รูปต่อไปนี้แสดงเครือข่ายระบบประสาทที่เกิดซ้ํา 4 ครั้ง โปรดสังเกตว่าค่าที่เรียนรู้ในเลเยอร์ที่ซ่อนไว้จากการทํางานครั้งแรกกลายเป็นส่วนหนึ่งของอินพุตไปยังเลเยอร์ที่ซ่อนอยู่เดียวกันในการเรียกใช้ครั้งที่สอง ในทํานองเดียวกัน ค่าที่เรียนรู้ในเลเยอร์ที่ซ่อนอยู่ในการเรียกใช้ครั้งที่ 2 จะกลายเป็นส่วนหนึ่งของอินพุตไปยังเลเยอร์ที่ซ่อนอยู่เดียวกันนี้ในการเรียกใช้ครั้งที่ 3 ด้วยวิธีนี้ โครงข่ายประสาทแบบใช้ซ้ําจะค่อยๆ ฝึกและคาดการณ์ความหมายของลําดับทั้งหมด ไม่ใช่เฉพาะความหมายของแต่ละคํา
RNN
ตัวย่อของเครือข่ายระบบประสาทที่เกิดซ้ํา
S
รูปแบบลําดับ
โมเดลที่อินพุตมีการอ้างอิงตามลําดับ เช่น การคาดการณ์วิดีโอถัดไปที่ดูจากลําดับวิดีโอที่ดูแล้วก่อนหน้านี้
T
ขั้นเวลา
เซลล์ที่ "ไม่ทํางาน" ภายในโครงข่ายระบบประสาทเทียม ตัวอย่างเช่น รูปภาพต่อไปนี้แสดงขั้นตอน 3 ขั้นตอน (ติดป้ายกํากับด้วยตัวห้อย t-1, t และ t+1)
Trigram
N-gram ซึ่ง N=3
V
ปัญหาการไล่ระดับสีหายไป
แนวโน้มของการไล่ระดับสีของเลเยอร์ที่ซ่อนอยู่ในช่วงต้นของโครงข่ายระบบประสาทเทียมระดับลึกจะแบนราบจนเหลือเชื่อ (ต่ํา) การไล่ระดับแบบลดลงเรื่อยๆ จะทําให้การเปลี่ยนแปลงของน้ําหนักบนโหนดในเครือข่ายประสาทเทียมมีจํานวนเพิ่มขึ้นเล็กน้อย ทําให้การเรียนรู้มีเพียงเล็กน้อยหรือไม่มีเลย โมเดลที่ประสบปัญหาการไล่ระดับแบบเฉิดฉาย เริ่มฝึกได้ยากหรือไม่สามารถทําได้เลย เซลล์หน่วยความจําระยะสั้นจะแก้ไขปัญหานี้
เปรียบเทียบกับปัญหาเกี่ยวกับการไล่ระดับสีแบบระเบิด