مسرد مصطلحات تعلُم الآلة: نماذج التسلسل

تحتوي هذه الصفحة على عبارات مسرد مصطلحات تسلسلها. للاطّلاع على كل عبارات مسرد المصطلحات، انقر هنا.

مليار

بِيغْرَامْ

#seq

#language

N-gram حيث N=2.

E

مشكلة متفجرة متفجّرة

#seq

يشير هذا المصطلح إلى استعداد التدرّجات في الشبكات العصبونية العميقة (خاصةً الشبكات العصبونية المتكرّرة) التي تؤدي إلى زيادة انحدارها (مرتفعة). غالبًا ما تؤدي التدرجات الشديدة الانحدار إلى تعديلات كبيرة جدًا على الأوزان لكل عقدة في شبكة عصبونية عميقة.

النماذج التي تعاني من مشكلة الانفجار المتصاعدة تصبح صعبة أو يستحيل تدريبها. يمكن أن يساعد الاقتصاص التدريجي في الحد من هذه المشكلة.

المقارنة مع مشكلة التدرج المتلاشٍ.

F

حذف البوابة

#seq

هو جزء من خلية ذاكرة طويلة الأجل ينظم تنظيم المعلومات في الخلية. تحتفظ ميزة "حذف البوّابات" بسياقها عن طريق تحديد المعلومات المطلوب تجاهلها من حالة الخلية.

G

اقتصاص متدرج

#seq

هي آلية شائعة الاستخدام للحدّ من مشاكل الانفجار المتفجّرة من خلال الحدّ المصطنَع للقيم (التقطيع) من التدرّجات عند استخدام هبوط التدرّج من أجل تدريب النموذج.

L

ذاكرة طويلة المدى (LSTM)

#seq

يشير هذا المصطلح إلى نوع من الخلايا في شبكة عصبونية متكررة يُستخدم لمعالجة تسلسلات البيانات في تطبيقات مثل التعرُّف على الكتابة بخط اليد والترجمة الآلية وترجمة الصور. وتعالج رموز LSTM مشكلة التدرّج اختفائه التي تحدث عند تدريب RNN بسبب تسلسلات بيانات طويلة من خلال الحفاظ على السجلّ في حالة ذاكرة داخلية استنادًا إلى مدخلات وسياق جديد من الخلايا السابقة في RNN.

LSTM

#seq

اختصار الذاكرة القصيرة الأجل.

N

N-gram

#seq

#language

تسلسل مرتب لعدد N من الكلمات. على سبيل المثال، في الواقع بجنون هو غرامان. لأنّ الأمر متعلق حقًا، فنوعه مختلف عن 2 جُدد.

N	أسماء هذه الأنواع من N-gram	أمثلة
2	حجم كبير أو 2 غرام	للذهاب إلى المطعم وتناول الغداء والعشاء
3	ثلاثي أو 3 غرام	أكلت كثيرًا جدًا، ثلاثة فئران عمياء، أجراس الجرس
4	4 غرام	التنزّه في المتنزّه والغبار والرياح حيث تناول الصبي العدس

تعتمد العديد من نماذج فهم اللغة الطبيعية على N-gram. على سبيل المثال، لنفترض أن مستخدمًا كتب ثلاثة مكفوفين. من المُرجّح أن يتوقّع نموذج NLU استنادًا إلى الرموز الثلاثية الألوان أنّ المستخدم سيكتب النوع التالي من الفئران.

قارِن بين N-gram وحقيبة من الكلمات، وهي عبارة عن مجموعات من الكلمات غير مُرتَّبة.

R

الشبكة العصبونية المتكررة

#seq

شبكة عصبية يتم تشغيلها عمدًا عدة مرات، حيث يتم تشغيل أجزاء من كل خلاصة في المرة التالية. على وجه التحديد، توفر الطبقات المخفية من التشغيل السابق جزءًا من الإدخال إلى الطبقة المخفية نفسها في عملية التشغيل التالية. إنّ الشبكات العصبونية المتكررة مفيدة بشكل خاص لتقييم التسلسلات، بحيث تتمكن الطبقات المخفية من التعلّم من عمليات التشغيل السابقة للشبكة العصبونية في أجزاء سابقة من التسلسل.

على سبيل المثال، يُظهر الشكل التالي شبكة عصبونية متكررة يتم تشغيلها أربع مرات. يُرجى العِلم أنّ القيم التي تم تعلّمها في الطبقات المخفية من أول عملية تشغيل تصبح جزءًا من الإدخال إلى الطبقات المخفية نفسها في عملية التشغيل الثانية. وبالمثل، تصبح القيم التي تم تعلّمها في الطبقة المخفية عند عملية التشغيل الثانية جزءًا من الإدخال إلى الطبقة المخفية نفسها في عملية التشغيل الثالثة. بهذه الطريقة، تعمل الشبكة العصبونية المتكررة على التدرّب ومعنى معنى التسلسل بالكامل بدلاً من معنى الكلمات الفردية فقط.

RNN

#seq

اختصار الشبكات العصبونية المتكررة.

S

نموذج التسلسل

#seq

نموذج تعتمد مدخلاته على تسلسلي. على سبيل المثال، توقّع الفيديو التالي الذي تتم مشاهدته من تسلسل فيديوهات شاهدتها سابقًا

T

خطوة زمنية

#seq

خلية واحدة "غير مُدرجة" في شبكة عصبونية متكررة. على سبيل المثال، يعرض الشكل التالي ثلاث خطوات زمنية (مصنَّفة بالخطين الفرعيين t-1 وt وt+1):

مثلث

#seq

#language

N-gram حيث N=3.

V

مشكلة في التلاشي التدريجي

#seq

يشير هذا المصطلح إلى الميل المتدرج لـ الطبقات المخفية المبكرة لبعض الشبكات العصبونية العميقة لتصبح مسطّحة على نحو مدهش (منخفض). وينتج عن التدرّجات المنخفضة بشكل متزايد تغييرات أصغر بشكل متزايد في الأوزان في العُقد في الشبكة العصبونية العميقة، ما يؤدي إلى القليل من التعلّم أو عدم التعلّم مطلقًا. إنّ النماذج التي تعاني من مشكلة التدرّج المتلاشي تصبح صعبًا أو مستحيلاً. تعالج خلايا الذاكرة القصيرة الأجل هذه المشكلة.

المقارنة مع مشكلة الانفجار المتفجّرة.