อภิธานศัพท์เกี่ยวกับแมชชีนเลิร์นนิง: โมเดลลําดับ

หน้านี้มีอภิธานศัพท์ของลําดับโมเดล สําหรับอภิธานศัพท์ทั้งหมด คลิกที่นี่

B

Bigram

#seq

#language

N-gram ซึ่ง N=2

E

ปัญหาการระเบิดเพิ่มขึ้น

#seq

แนวโน้มของการไล่ระดับสีในโครงข่ายประสาทแบบลึก (โดยเฉพาะเครือข่ายประสาทเทียมแบบเกิดซ้ํา) มีความลาดชันอย่างไม่น่าเชื่อ (สูง) การไล่ระดับสีที่ชันมากมักทําให้การอัปเดตน้ําหนักที่สูงมากของโหนดแต่ละรายการในเครือข่ายประสาทเทียมระดับลึก

โมเดลที่ได้รับผลกระทบจากปัญหาการเพิ่มขึ้นอย่างฉับพลันนั้นเป็นเรื่องที่ยากหรือฝึกไม่ได้ การตัดการไล่ระดับสี สามารถบรรเทาปัญหานี้

เปรียบเทียบกับปัญหาเกี่ยวกับการไล่ระดับสีที่สูญหาย

F

ลืมประตู

#seq

ส่วนของเซลล์หน่วยความจําระยะสั้นที่ควบคุมการไหลของข้อมูลผ่านเซลล์ ลืมเกตจะรักษาบริบทไว้โดยการเลือกข้อมูลที่จะทิ้งจากสถานะของเซลล์

G

การตัดการไล่ระดับสี

#seq

กลไกที่ใช้กันโดยทั่วไปในการลดปัญหาเกี่ยวกับการไล่ระดับสีระเบิดโดยการจํากัด (การตัดทอน) ค่าสูงสุดของการไล่ระดับสีเมื่อใช้การลดระดับการไล่ระดับสีเพื่อฝึกโมเดล

L

หน่วยความจําระยะสั้น (LSTM)

#seq

เซลล์ประเภทหนึ่งในโครงข่ายระบบประสาทเทียมที่ใช้ในการประมวลผลลําดับของข้อมูลในแอปพลิเคชัน เช่น การจดจําลายมือ การแปลด้วยคอมพิวเตอร์ และคําอธิบายภาพ LSTM จัดการกับปัญหาการไล่ระดับสีที่สูญหายไปซึ่งเกิดขึ้นเมื่อฝึก RNN เนื่องจากลําดับข้อมูลนาน โดยการเก็บประวัติไว้ในสถานะหน่วยความจําภายในตามอินพุตและบริบทใหม่จากเซลล์ก่อนหน้าใน RNN

ต่ําสุด

#seq

ตัวย่อของหน่วยความจําระยะสั้น

N

N-G-ram

#seq

#language

ลําดับของคํา N ลําดับ เช่น โกรธจริงขนาด 2 กรัม เนื่องจากคําสั่งซื้อมีความเกี่ยวข้องกันอย่างเห็นได้ชัดเลยทีเดียวเป็น 2 กรัมที่แตกต่างจากโมโหสุดๆ

N	ชื่อสําหรับ N-gram ประเภทนี้	ตัวอย่าง
2	Bigram หรือ 2 กรัม	จะไปที่นั่น กินข้าวเที่ยง กินข้าวเย็น
3	รูปสามเหลี่ยมหรือ 3 กรัม	กินหนูตาบอด 3 ตัว กับตากระดิ่งมากเกินไป
4	4 กรัม	เดินในสวน ฝุ่นละอองในลม เด็กชายกินถั่วเลนทิล

โมเดลการทําความเข้าใจภาษาธรรมชาติจํานวนมากจะใช้ N-grams เพื่อคาดคะเนคําถัดไปที่ผู้ใช้จะพิมพ์หรือพูด ตัวอย่างเช่น สมมติว่าผู้ใช้พิมพ์สามตาบอด โมเดล NLU ที่ใช้รูปสามเหลี่ยมมีแนวโน้มที่จะคาดการณ์ว่าผู้ใช้จะพิมพ์เมาส์ต่อไป

ตรงข้ามกับ N-grams กับ bag of word ซึ่งก็คือชุดคําที่ไม่ได้เรียงลําดับ

ขวา

โครงข่ายระบบประสาทเทียมแบบเกิดซ้ํา

#seq

โครงข่ายระบบประสาทเทียมที่ตั้งใจจะทํางานหลายครั้ง โดยที่บางส่วนของฟีดที่ทํางานอยู่แต่ละฟีดจะทํางานครั้งถัดไป โดยเฉพาะอย่างยิ่ง เลเยอร์ที่ซ่อนจากการเรียกใช้ครั้งก่อนมอบส่วนหนึ่งของอินพุตไปยังเลเยอร์ที่ซ่อนอยู่เดียวกันในการเรียกใช้ครั้งต่อไป โครงข่ายระบบประสาทเทียมแบบปกติมีประโยชน์อย่างยิ่งในการประเมินลําดับ เพื่อให้เลเยอร์ที่ซ่อนอยู่เรียนรู้จากการเรียกใช้โครงข่ายประสาทในส่วนก่อนหน้าของลําดับก่อนหน้า

ตัวอย่างเช่น รูปต่อไปนี้แสดงเครือข่ายระบบประสาทที่เกิดซ้ํา 4 ครั้ง โปรดสังเกตว่าค่าที่เรียนรู้ในเลเยอร์ที่ซ่อนไว้จากการทํางานครั้งแรกกลายเป็นส่วนหนึ่งของอินพุตไปยังเลเยอร์ที่ซ่อนอยู่เดียวกันในการเรียกใช้ครั้งที่สอง ในทํานองเดียวกัน ค่าที่เรียนรู้ในเลเยอร์ที่ซ่อนอยู่ในการเรียกใช้ครั้งที่ 2 จะกลายเป็นส่วนหนึ่งของอินพุตไปยังเลเยอร์ที่ซ่อนอยู่เดียวกันนี้ในการเรียกใช้ครั้งที่ 3 ด้วยวิธีนี้ โครงข่ายประสาทแบบใช้ซ้ําจะค่อยๆ ฝึกและคาดการณ์ความหมายของลําดับทั้งหมด ไม่ใช่เฉพาะความหมายของแต่ละคํา

RNN

#seq

ตัวย่อของเครือข่ายระบบประสาทที่เกิดซ้ํา

S

รูปแบบลําดับ

#seq

โมเดลที่อินพุตมีการอ้างอิงตามลําดับ เช่น การคาดการณ์วิดีโอถัดไปที่ดูจากลําดับวิดีโอที่ดูแล้วก่อนหน้านี้

T

ขั้นเวลา

#seq

เซลล์ที่ "ไม่ทํางาน" ภายในโครงข่ายระบบประสาทเทียม ตัวอย่างเช่น รูปภาพต่อไปนี้แสดงขั้นตอน 3 ขั้นตอน (ติดป้ายกํากับด้วยตัวห้อย t-1, t และ t+1)

Trigram

#seq

#language

N-gram ซึ่ง N=3

V

ปัญหาการไล่ระดับสีหายไป

#seq

แนวโน้มของการไล่ระดับสีของเลเยอร์ที่ซ่อนอยู่ในช่วงต้นของโครงข่ายระบบประสาทเทียมระดับลึกจะแบนราบจนเหลือเชื่อ (ต่ํา) การไล่ระดับแบบลดลงเรื่อยๆ จะทําให้การเปลี่ยนแปลงของน้ําหนักบนโหนดในเครือข่ายประสาทเทียมมีจํานวนเพิ่มขึ้นเล็กน้อย ทําให้การเรียนรู้มีเพียงเล็กน้อยหรือไม่มีเลย โมเดลที่ประสบปัญหาการไล่ระดับแบบเฉิดฉาย เริ่มฝึกได้ยากหรือไม่สามารถทําได้เลย เซลล์หน่วยความจําระยะสั้นจะแก้ไขปัญหานี้

เปรียบเทียบกับปัญหาเกี่ยวกับการไล่ระดับสีแบบระเบิด