หน้านี้มีคําในอภิธานศัพท์เกี่ยวกับรูปแบบลําดับ สําหรับอภิธานศัพท์ทั้งหมด คลิกที่นี่
ข
Bigram
N-gram ที่ N=2
จ.
ปัญหาการไล่ระดับสีแบบระเบิด
แนวโน้มที่การไล่ระดับสีในโครงข่ายประสาทแบบลึก (โดยเฉพาะโครงข่ายประสาทแบบเกิดซ้ํา) จะสูงขึ้นอย่างสูงจนคาดไม่ถึง (สูง) การไล่ระดับสีแบบสูงชันมักอัปเดตน้ําหนักของแต่ละโหนดที่มีขนาดใหญ่มากในโครงข่ายประสาทส่วนลึก
โมเดลที่ได้รับผลกระทบจากปัญหาการระเบิดที่พุ่งสูงขึ้นจะยากหรือฝึกไม่ได้ การตัดคลิปไล่ระดับสี ช่วยลดปัญหานี้
เปรียบเทียบกับปัญหาการไล่ระดับสีที่สูญหาย
ศ
ลืมประตู
ส่วนของเซลล์หน่วยความจําระยะสั้นแบบยาวที่ควบคุมการไหลของข้อมูลผ่านเซลล์ ไม่ลืมประตูที่เข้าประตูเองเพื่อรักษาบริบทโดยเลือกว่าจะทิ้งข้อมูลใดออกจากสถานะเซลล์
G
การตัดการไล่ระดับสี
กลไกที่ใช้กันทั่วไปเพื่อลดปัญหาการไล่ระดับสีระเบิดโดยการจํากัด (การตัดคลิป) ค่าสูงสุดของการไล่ระดับสีเมื่อใช้ลงทางลาดเพื่อฝึกโมเดล
L
หน่วยความจําระยะสั้น (LSTM)
เซลล์ประเภทหนึ่งในโครงข่ายประสาทแบบเกิดซ้ําที่ใช้ในการประมวลผลลําดับของข้อมูลในแอปพลิเคชัน เช่น การจดจําลายมือ การแปลด้วยคอมพิวเตอร์ และคําอธิบายภาพ LSTM จะจัดการปัญหาการไล่ระดับสีที่สูญหายซึ่งเกิดขึ้นเมื่อฝึก RNN ด้วยลําดับข้อมูลที่ยาว โดยเก็บรักษาประวัติในสถานะหน่วยความจําภายในตามอินพุตและบริบทใหม่จากเซลล์ก่อนหน้าใน RNN
LSTM
ตัวย่อของหน่วยความจําระยะสั้นระยะยาว
ไม่ใช่
N-gram
ลําดับของคําตามลําดับ N เช่น โกรธมากคือ 2 กรัม เนื่องจากลําดับมีความเกี่ยวข้องกันอย่างมากจริงๆ เป็น 2 กรัมที่แตกต่างจากโกรธสุดๆ
ไม่ใช่ | ชื่อสําหรับ N-gram ประเภทนี้ | ตัวอย่าง |
---|---|---|
2 | Bigram หรือ 2 กรัม | จะไป ไปกินข้าวเที่ยง กินข้าวเย็น |
3 | รูปสามเหลี่ยมหรือ 3 กรัม | มีเมาส์ตาบอด 3 ตัวมากเกินไป ไม่มีที่เก็บค่าผ่านทาง |
4 | 4 กรัม | เดินในสวน ฝุ่นละอองในลม เด็กชายรับประทานถั่วเลนทิล |
โมเดลการทําความเข้าใจภาษาธรรมชาติจํานวนมากจะใช้ N-grams เพื่อคาดคะเนคําถัดไปที่ผู้ใช้จะพิมพ์หรือพูด เช่น สมมติว่าผู้ใช้พิมพ์ม่าน 3 ใบ โมเดล NLU ที่ยึดตามรูปสามเหลี่ยมมีแนวโน้มที่จะคาดการณ์ได้ว่าผู้ใช้จะพิมพ์เมาส์ในครั้งถัดไป
คอนทราสต์ N-grams กับ bag of words ซึ่งก็คือชุดคําที่ไม่เรียงลําดับ
R
เครือข่ายระบบประสาทแบบเกิดซ้ํา
โครงข่ายระบบประสาทที่ทํางานโดยเจตนาหลายครั้ง โดยที่บางส่วนของฟีดที่ทํางานอยู่แต่ละฟีดจะทํางานครั้งถัดไป โดยเฉพาะอย่างยิ่ง เลเยอร์ที่ซ่อนไว้จากการเรียกใช้ก่อนหน้าจะมีอินพุตบางส่วนในเลเยอร์ที่ซ่อนอยู่เดียวกันนี้ในการเรียกใช้ครั้งถัดไป โครงข่ายประสาทแบบเกิดซ้ํามีประโยชน์อย่างยิ่งสําหรับการประเมินลําดับ เพื่อให้เลเยอร์ที่ซ่อนอยู่เรียนรู้จากการเรียกใช้โครงข่ายประสาทก่อนหน้านี้ในตอนต้นของลําดับได้
เช่น รูปต่อไปนี้แสดงโครงข่ายระบบประสาทเทียมที่เกิดซ้ํา 4 ครั้ง โปรดสังเกตว่าค่าที่เรียนรู้ในเลเยอร์ที่ซ่อนไว้จากการเรียกใช้ครั้งแรกจะกลายเป็นส่วนหนึ่งของอินพุตไปยังเลเยอร์ที่ซ่อนอยู่เดียวกันนี้ในการเรียกใช้ครั้งที่ 2 ในทํานองเดียวกัน ค่าที่เรียนรู้ในเลเยอร์ที่ซ่อนอยู่ในการเรียกใช้ครั้งที่ 2 จะกลายเป็นส่วนหนึ่งของอินพุตไปยังเลเยอร์ที่ซ่อนอยู่เดียวกันนี้ในการเรียกใช้งานครั้งที่ 3 ด้วยวิธีนี้ โครงข่ายประสาทที่เกิดขึ้นซ้ําๆ จะค่อยๆ ฝึกและคาดการณ์ความหมายของลําดับทั้งหมด ไม่ใช่เฉพาะความหมายของคําแต่ละคํา
RNN
ตัวย่อของโครงข่ายประสาทแบบเกิดซ้ํา
ส
รูปแบบลําดับ
โมเดลที่มีอินพุตมีการขึ้นต่อกันตามลําดับ เช่น การคาดคะเนวิดีโอถัดไปที่ดูจากลําดับวิดีโอที่ดูก่อนหน้า
อ
ขั้นเวลา
เซลล์ "unroll&" ภายในโครงข่ายระบบประสาทเทียมที่เกิดซ้ํา เช่น รูปต่อไปนี้แสดงขั้นตอน 3 ขั้นตอน (เขียนด้วยตัวห้อย t-1, t และ t+1)
ไทรแกรม
N-gram ที่ N=3
V
ปัญหาการไล่ระดับสีหายไป
แนวโน้มที่การไล่ระดับสีของเลเยอร์ที่ซ่อนอยู่ในช่วงต้นของโครงข่ายประสาทส่วนลึกบางส่วนจะคงที่จนน่าแปลกใจ (ต่ํา) การไล่ระดับสีที่ลดลงเรื่อยๆ ทําให้น้ําหนักต่อโหนดในเครือข่ายประสาทเทียมที่ลึกขึ้นลดลงเล็กน้อย ส่งผลให้เกิดการเรียนรู้เพียงเล็กน้อยหรือไม่มีเลย โมเดลที่ต้องเผชิญกับปัญหาการไล่ระดับสีที่ไม่เท่ากัน นั้นฝึกได้ยากหรือฝึกไม่ได้ เซลล์หน่วยความจําระยะสั้นแบบยาวจะแก้ไขปัญหานี้ได้
เปรียบเทียบกับปัญหาการระเบิดที่เพิ่มขึ้น