مسرد مصطلحات التعلم الآلي: تقييم اللغة

تحتوي هذه الصفحة على مصطلحات مسرد مصطلحات تقييم اللغة. للاطّلاع على جميع مصطلحات مسرد المصطلحات، انقر هنا.

جيم

تنبيه

#language

يشير ذلك المصطلح إلى آلية مستخدَمة في شبكة عصبية للإشارة إلى أهمية كلمة معيّنة أو جزء معيّن من كلمة. يضغط الانتباه مقدار المعلومات التي يحتاجها النموذج للتنبؤ بالرمز المميز/الكلمة التالية. قد تتألف آلية الانتباه النموذجية من مجموع مرجّح على مجموعة من الإدخالات، حيث يحسب جزء آخر من الشبكة العصبونية وزن كل إدخال.

يمكنك أيضًا الرجوع إلى الانتباه الذاتي والانتباه الذاتي لعدة رؤوس، وهما العاملان الأساسيان في المحولات.

برنامج ترميز تلقائي

#language

#image

نظام يتعلم استخراج أهم المعلومات من الإدخال. إنّ برامج الترميز التلقائية هي مزيج من برنامج ترميز وبرنامج فك الترميز. تعتمد برامج الترميز التلقائي على العملية التالية المكونة من خطوتَين:

1. يعيّن برنامج الترميز الإدخال إلى تنسيق منخفض الأبعاد (عادةً) منخفض الأبعاد (متوسط).
2. ينشئ برنامج فك الترميز نسخة مفقودة من الإدخال الأصلي عن طريق ربط التنسيق الأقل أبعادًا بتنسيق الإدخال الأصلي ذي الأبعاد الأعلى.

يتم تدريب برامج الترميز التلقائية بشكل تام بين الأطراف من خلال محاولة إعادة إنشاء الإدخال الأصلي من التنسيق المتوسط لبرنامج الترميز بأقرب شكل ممكن. وبما أنّ التنسيق المتوسط أصغر (أقلّ أبعادًا) من التنسيق الأصلي، يصبح برنامج الترميز التلقائي مضطرًا إلى التعرّف على المعلومات الضرورية في الإدخال، ولن يكون المُخرج مطابقًا تمامًا للمُدخل.

مثلاً:

• إذا كانت بيانات الإدخال عبارة عن رسم، فإن النسخة غير الدقيقة ستكون مشابهة للرسم الأصلي، ولكن تم تعديلها إلى حد ما. ربما تزيل النسخة غير الدقيقة التشويش من الرسم الأصلي أو تملأ بعض وحدات البكسل المفقودة.
• إذا كانت بيانات الإدخال نصية، سينشئ برنامج الترميز التلقائي نصًا جديدًا يحاكي النص الأصلي (ولكنه ليس مطابقًا له).

راجِع أيضًا برامج الترميز التلقائي المختلفة.

نموذج الانحدار التلقائي

#language

#image

#generativeAI

model يستنتج توقّعًا استنادًا إلى توقّعاته السابقة. على سبيل المثال، تتوقّع نماذج اللغة الانحدارية التلقائية الرمز المميّز التالي استنادًا إلى الرموز المميّزة التي كان يتم توقّعها سابقًا. جميع النماذج اللغوية الكبيرة المستندة إلى المحوّل هي انحدار تلقائي.

وفي المقابل، لا تكون نماذج الصور المستندة إلى GAN انحدارية تلقائيًا لأنها تنشئ صورة في تصريح أمامي واحد وليس تكرارًا على خطوات. في المقابل، إنّ بعض نماذج إنشاء الصور تتراجع تلقائيًا لأنّها تنشئ صورة بخطوات.

B

كيس من الكلمات

#language

تمثيل للكلمات في عبارة أو فقرة، بغض النظر عن الترتيب. على سبيل المثال، تمثل كيس الكلمات العبارات الثلاث التالية بشكل متطابق:

• الْكَلْبْ يقفز
• يقفز الكلب
• كلب يقفز

يتم تعيين كل كلمة إلى فهرس في متجه بسيط، حيث يشتمل المتجه على فهرس لكل كلمة في المفردات. على سبيل المثال، يتم ربط عبارة قفز الكلب في متّجه خاص يتضمّن قيمًا غير صفرية في الفهارس الثلاثة المقابلة للكلمات الرئيسية the وdog وjumps. يمكن أن تكون القيمة غير الصفرية أيًا مما يلي:

• رقم 1 للإشارة إلى وجود كلمة.
• تمثّل هذه السمة عدد المرات التي تظهر فيها كلمة في الحقيبة. على سبيل المثال، إذا كانت العبارة هي كلب كستنائي هو كلب ذو فرو كستنائي، فسيتم تمثيل كل من كستنائي وكلب بالرقم 2، بينما سيتم تمثيل الكلمات الأخرى بالرقم 1.
• قيمة أخرى، مثل لوغاريتم عدد مرات ظهور كلمة في الحقيبة.

نماذج BERT (الترميز الثنائي الاتجاه من المحولات)

#language

بنية نموذج لتمثيل النص. نموذج BERT المدرب يمكن أن يكون جزءًا من نموذج أكبر لتصنيف النص أو مهام تعلُّم الآلة الأخرى.

تتميّز نماذج BERT بالخصائص التالية:

• يستخدم هذا النموذج بنية Transformer، وبالتالي يعتمد على الانتباه الذاتي.
• يستخدم جزء برنامج الترميز في المحول. ووظيفة برنامج الترميز هي تقديم تمثيلات نصية جيدة بدلاً من أداء مهمة محدّدة، مثل التصنيف.
• ثنائي الاتجاه
• استخدام ميزة الإخفاء لإجراء تدريب غير خاضع للإشراف

تشمل متغيرات BERT ما يلي:

• ALBERT، وهو اختصار لـ A Light BERT.
• LaBSE:

يمكنك مراجعة فتح المصدر لنظام BERT: التدريب المسبق على تقنية "أحدث الأعمال" لمعالجة اللغات الطبيعية للحصول على نظرة عامة حول نماذج BERT.

ثنائي الاتجاه

#language

مصطلح يستخدم لوصف نظام يقيّم النص الذي يسبق ويتبع قسمًا مستهدَفًا من النص. وفي المقابل، يقيّم النظام أحادي الاتجاه فقط النص الذي يسبق قسمًا مستهدَفًا من النص.

على سبيل المثال، ضع في الاعتبار نموذج لغة مقنع يجب أن يحدد احتمالات الكلمة أو الكلمات التي تمثل التسطير في السؤال التالي:

ما هو _____ معك؟

يجب أن يستند النموذج اللغوي أحادي الاتجاه إلى احتمالاته فقط على السياق المقدم من خلال الكلمات "ماذا" و"هو" و "الـ". في المقابل، يمكن أن يحصل نموذج اللغة ثنائي الاتجاه أيضًا على سياق من "مع" و "أنت"، مما قد يساعد النموذج في إنشاء تنبؤات أفضل.

نموذج لغوي ثنائي الاتجاه

#language

نموذج لغة يحدّد احتمالية توفّر رمز مميّز معيّن في موقع جغرافي معيّن في مقتطف من النص استنادًا إلى النص السابق والتالي.

Bigram

#seq

#language

N-gram حيث N=2.

BLEU (دراسة تقييم ثنائي اللغة قيد الدراسة)

#language

هي نتيجة بين 0.0 و1.0، بما في ذلك ما يشير إلى جودة الترجمة بين لغتين، (على سبيل المثال، بين الإنجليزية والروسية). درجة BLEU 1.0 تشير إلى الترجمة المثالية؛ ودرجة BLEU 0.0 تشير إلى ترجمة سيئة.

C

نموذج اللغة السببية

#language

مرادف لنموذج لغوي أحادي الاتجاه.

يمكنك الاطّلاع على نموذج لغوي ثنائي الاتجاه لتمييز منهجيات الاتجاهات المختلفة في نمذجة اللغة.

تحفيز سلسلة من الأفكار

#language

#generativeAI

يشير ذلك المصطلح إلى أسلوب هندسة سريعة يشجّع نموذج اللغة الكبيرة (LLM) لشرح أسبابه بالتفصيل. على سبيل المثال، ضع في اعتبارك المطالبة التالية، مع إيلاء اهتمام خاص للجملة الثانية:

كم عدد القوة الجاذبة التي يختبرها سائق في سيارة تمتد من 0 إلى 60 ميلاً في الساعة في 7 ثوانٍ؟ في الإجابة، اعرض جميع العمليات الحسابية ذات الصلة.

من المرجّح أن يكون ردّ النموذج اللغوي الكبير:

• اعرض تسلسلاً من المعادلات الفيزيائية، مع إدخال القيم 0 و60 و7 في الأماكن المناسبة.
• اشرح سبب اختيار هذه المعادلات وماذا تعني المتغيرات المختلفة.

يجبر النموذج اللغوي الكبير على إجراء جميع العمليات الحسابية، ما قد يؤدي إلى إجابة أكثر دقة. بالإضافة إلى ذلك، يتيح طلب التفكير المتسلسل للمستخدم فحص خطوات النموذج اللغوي الكبير (LLM) لتحديد ما إذا كانت الإجابة منطقية.

تحليل الناخبين

#language

تقسيم الجملة إلى هياكل نحوية أصغر ("المكونات"). يمكن لجزء لاحق من نظام تعلُّم الآلة، مثل نموذج فهم اللغة الطبيعية، تحليل المكوّنات بسهولة أكبر من الجملة الأصلية. على سبيل المثال، ضع في اعتبارك الجملة التالية:

تبنّت صديقتي قطتَين.

يمكن للمحلل اللغوي للدائرة الانتخابية تقسيم هذه الجملة إلى المكونين التاليين:

• My Friends هي عبارة اسمية.
• adopted two cats هي جملة فعلية.

ويمكن تقسيم هذه المكونات إلى أجزاء فرعية أصغر. على سبيل المثال، لا يمكن أن تظهر عبارة الفعل

تبنى قطين

إلى:

• ended هو فعل.
• قطتان هي عبارة اسمية أخرى.

وردي فاتح

#language

جملة أو عبارة ذات معنى غامض. تمثل أزهار التعطُّل مشكلة كبيرة في فهم اللغات الطبيعية. على سبيل المثال، العنوان Red Tape Holds Up Skyscraper سوف يتعطل لأن نموذج NLU يمكنه تفسير العنوان حرفيًا أو مجازيًا.

انقر على الرمز للحصول على ملاحظات إضافية.

فقط لتوضيح هذا العنوان الغامض:

• يمكن أن يشير شريط أحمر إلى أي مما يلي:
  • بمادة لاصقة
  • بيروقراطية مفرطة
• يمكن أن تشير كلمة تعليق المكالمة إلى أي مما يلي:
  • الدعم الهيكلي
  • حالات التأخير

---

D

برنامج فك الترميز

#language

وبشكل عام، يشير ذلك إلى أي نظام تعلّم الآلة يحوِّل من تمثيل داخلي أو كثيف أو معالج إلى تمثيل خارجي أو أكثر أو أقل تدرّجًا.

غالبًا ما تكون برامج فك الترميز مكوّنًا من نماذج أكبر، حيث يتم إقرانها بشكل متكرر ببرنامج ترميز.

في مهام التسلسل إلى التسلسل، تبدأ أداة فك الترميز بالحالة الداخلية التي ينشئها برنامج الترميز لتوقّع التسلسل التالي.

يمكنك الرجوع إلى المحول للاطّلاع على تعريف برنامج فك الترميز ضمن بنية المحول.

إزالة الضوضاء

#language

أحد الأساليب الشائعة لتنفيذ التعلّم الذاتي حيث:

1. تتم إضافة الضوضاء بشكل مصطنع إلى مجموعة البيانات.
2. يحاول model إزالة التشويش.

تؤدي إزالة التشويش إلى تفعيل التعلّم من الأمثلة غير المصنَّفة. تعمل مجموعة البيانات الأصلية كهدف أو تصنيف والبيانات المزعجة كإدخال.

تستخدم بعض النماذج اللغوية المقنعة إزالة التشويش على النحو التالي:

1. تتم إضافة الضوضاء بشكل مصطنع إلى جملة غير مصنّفة عن طريق إخفاء بعض الرموز المميّزة.
2. يحاول النموذج التنبؤ بالرموز المميزة الأصلية.

الطلب المباشر

#language

#generativeAI

مرادف لعبارة طلب عدم توفّر لقطة شاشة.

E

تعديل المسافة

#language

يشير ذلك المصطلح إلى قياس لمدى تشابه سلسلتَين نصيتَين مع بعضهما بعضًا. في تعلُّم الآلة، يُعدّ تعديل المسافة مفيدًا لأنّه بسيط وسهل الاحتساب وطريقة فعّالة للمقارنة بين سلسلتَين من المعروف أنهما متشابهتان أو للعثور على سلاسل مشابهة لسلسلة معيّنة.

هناك العديد من التعريفات لتحرير المسافة، ويستخدم كل منها عمليات مختلفة للسلسلة. على سبيل المثال، مسافة ليفينشتين تراعي أقل عدد من عمليات الحذف والإدراج والاستبدال.

على سبيل المثال، مسافة ليفنشتاين بين الكلمتين "قلب" و "سهام" 3 لأن التعديلات الثلاثة التالية هي أقل التغييرات التي تؤدي إلى تحويل كلمة إلى أخرى:

1. قلب ← deart (استبدل "h" بـ "d")
2. deart ← dart (حذف "e")
3. dart ← darts (insert "s")

طبقة التضمين

#language

#fundamentals

يشير ذلك المصطلح إلى طبقة مخفية خاصة يتم تدريبها على ميزة فئوية ذات أبعاد عالية. وتُمكّن طبقة التضمين الشبكة العصبية من التدرّب بكفاءة أكبر من التدريب فقط على ميزة التصنيف ذات الأبعاد العالية.

على سبيل المثال، يدعم Earth حاليًا حوالي 73,000 نوع من الأشجار. لنفترض أنّ أنواع الأشجار هي ميزة في نموذجك، وبالتالي تتضمّن طبقة الإدخال لنموذجك متجهًا واحدًا ساخنًا يبلغ طوله 73,000 عنصر. على سبيل المثال، يمكن أن يتم تمثيل السمة baobab على النحو التالي:

الصفيفة المكونة من 73000 عنصر طويلة جدًا. إذا لم تضف طبقة تضمين إلى النموذج، فسيستغرق التدريب وقتًا طويلاً بسبب ضرب 72999 صفراً. ربما تختار طبقة التضمين لتكون من 12 بُعدًا. وبالتالي، ستتعلم طبقة التضمين تدريجيًا متجهات تضمين جديدة لكل نوع من أنواع الأشجار.

في بعض الحالات، يكون التجزئة بديلاً معقولاً لطبقة التضمين.

مساحة التضمين

#language

يتم تعيين مساحة المتجه البُعدي الأبعاد التي تتميز من مساحة متجهية ذات أبعاد أعلى. ومن الناحية المثالية، تحتوي مساحة التضمين على بنية ينتج عنها نتائج رياضية ذات مغزى؛ على سبيل المثال، في مساحة التضمين المثالية، يمكن أن تؤدي إضافة وطرح التضمينات إلى حل مهام تشبيه الكلمات.

يُعد ضرب النقطة لاثنتين من التضمين مقياسًا للتشابه.

تضمين متجه

#language

بشكل عام، هي مصفوفة من أرقام النقاط العائمة المأخوذة من أي طبقة مخفية تصف إدخالات تلك الطبقة المخفية. غالبًا ما يكون متجه التضمين هو صفيف أرقام النقاط العائمة المدرَّبة في طبقة تضمين. على سبيل المثال، لنفترض أن طبقة التضمين يجب أن تتعلم متجهًا للتضمين لكل نوع من أنواع الأشجار على الأرض البالغ عددها 73000 نوع. ربما تكون الصفيفة التالية هي متجه التضمين لشجرة الباوباب:

متجه التضمين ليس مجموعة من الأرقام العشوائية. وتحدد طبقة التضمين هذه القيم من خلال التطبيق، على غرار الطريقة التي تتعرّف بها الشبكة العصبية على الأوزان الأخرى أثناء التدريب. كل عنصر من عناصر الصفيف هو تصنيف على طول بعض خصائص أنواع الأشجار. أي العنصر الذي يمثل سمة أنواع الأشجار؟ يصعب على البشر تحديد ذلك.

الجزء الرائع رياضيًا من متجه التضمين هو أن العناصر المشابهة تحتوي على مجموعات متشابهة من أرقام النقاط العائمة. على سبيل المثال، تحتوي أنواع الأشجار المشابهة على مجموعة تماثل أكثر من أرقام النقاط العائمة من أنواع الأشجار غير المتشابهة. الخشب الأحمر والسيكويا من أنواع الأشجار ذات الصلة، لذلك سيكون لديها مجموعة مماثلة من الأرقام التي تشير إلى العائمة أكثر من الخشب الأحمر ونخيل جوز الهند. ستتغير الأرقام في متجه التضمين في كل مرة تُعيد فيها ضبط النموذج، حتى إذا أعدت تدريب النموذج باستخدام إدخال متطابق.

برنامج تشفير

#language

وبشكل عام، يشير أي نظام تعلُّم الآلة إلى تمثيل داخلي أكثر كثافة أو معالجة من تمثيل أوليّ أو متناثر أو خارجي.

غالبًا ما تكون برامج الترميز مكوّنًا في نموذج أكبر، حيث يتم إقرانها بشكل متكرر ببرنامج فك الترميز. تعمل بعض المحولات على إقران برامج الترميز ببرامج فك الترميز، إلا أنّ المحولات الأخرى تستخدم برنامج الترميز فقط أو أداة فك الترميز فقط.

تستخدم بعض الأنظمة مخرجات برنامج الترميز كإدخال إلى شبكة تصنيف أو انحدار.

في مهام التسلسل إلى تسلسل، يأخذ برنامج الترميز تسلسل إدخال ويعرض حالة داخلية (متجه). بعد ذلك، يستخدم برنامج فك الترميز تلك الحالة الداخلية لتوقّع التسلسل التالي.

يمكنك الرجوع إلى المحول للاطّلاع على تعريف برنامج الترميز في بنية المحوّل.

F

المطالبة بلقطات قليلة

#language

#generativeAI

إشعار يتضمّن أكثر من مثال واحد ((بعض الأمثلة) يوضّح كيفية استجابة نموذج اللغة الكبيرة. على سبيل المثال، يحتوي الطلب الطويل التالي على مثالين يوضحان نموذج لغوي كبير لكيفية الإجابة على استعلام.

أجزاء من إشعار واحد	Notes
ما هي العملة الرسمية للبلد المحدّد؟	السؤال الذي تريد الإجابة عنه من خلال النموذج اللغوي الكبير (LLM).
فرنسا: يورو	مثال واحد.
المملكة المتحدة: جنيه إسترليني	مثال آخر.
الهند:	طلب البحث الفعلي.

بشكل عام، يؤدي تفعيل بضع لقطات ومع ذلك، فإن المطالبة بلقطات قليلة تتطلب مطالبة أطول.

إنّ الطلب من خلال بضع لقطات هو شكل من أشكال التعلّم الذي يتضمّن بضع لقطات يتم تطبيقه على التعلّم المستند إلى الطلبات.

كمنجة

#language

يشير ذلك المصطلح إلى مكتبة تكوين تعتمد على لغة Python أولاً وتضبط قيم الدوال والفئات بدون ترميز أو بنية أساسية. في حالة Pax وقواعد رموز تعلُّم الآلة الأخرى، تمثل هذه الدوال والفئات النماذج والتدريب المعلمات الفائقة.

تفترض أداة Fiddle أنّ قواعد رموز تعلُّم الآلة تنقسم عادةً إلى:

• رمز المكتبة، الذي يحدد الطبقات وعوامل التحسين.
• شفرة "غراء" لمجموعة البيانات، التي تستدعي المكتبات وتربط كل شيء معًا.

يلتقط Fiddle بنية الاستدعاء للرمز اللاصق في شكل غير قابل للتقييم وقابل للتغيير.

الضبط الدقيق

#language

#image

#generativeAI

هو تصريح تدريب ثان خاص بمهمة يتم إجراؤه على نموذج مدرَّب مسبقًا لتحسين معلَماته في حالة استخدام معيّنة. على سبيل المثال، في ما يلي تسلسل التدريب الكامل لبعض النماذج اللغوية الكبيرة:

1. تدريب مسبق: يمكنك تدريب نموذج لغوي كبير على مجموعة بيانات عامة واسعة، مثل جميع صفحات ويكيبيديا باللغة الإنجليزية.
2. ضبط الصوت بدقة: يمكنك تدريب نموذج مدرَّب مسبقًا لأداء مهمة محدّدة، مثل الاستجابة للطلبات الطبية. يتضمن الضبط الدقيق عادةً مئات أو آلاف الأمثلة التي تركز على المهمة المحددة.

ومثال آخر على ذلك هو تسلسل التدريب الكامل لنموذج الصور الكبيرة على النحو التالي:

1. تدريب مسبق: درِّب على نموذج صورة كبير على مجموعة بيانات صور عامة واسعة، مثل جميع الصور في Wikimedia Commons.
2. الضبط الدقيق: تدريب النموذج المدرَّب مسبقًا لأداء مهمة محددة، مثل إنشاء صور حيتان أوركا.

يمكن أن يستلزم الضبط الدقيق أي مجموعة من الاستراتيجيات التالية:

• تعديل جميع المَعلمات الحالية للنموذج المدرَّب مسبقًا. ويسمى هذا أحيانًا الضبط الكامل.
• تعديل بعض المعلَمات الحالية فقط في النموذج المدرَّب مسبقًا (عادةً، الطبقات الأقرب إلى طبقة المخرجات)، مع الاحتفاظ بالمعلَمات الحالية الأخرى بدون تغيير (عادةً، الطبقات الأقرب إلى طبقة الإدخال). اطّلِع على ضبط فعالية المعلَمات.
• إضافة المزيد من الطبقات، عادةً فوق الطبقات الحالية الأقرب إلى طبقة المخرجات.

الضبط الدقيق هو شكل من أشكال نقل التعلّم. وبالتالي، قد يستخدم الضبط الدقيق دالة خسارة مختلفة أو نوع نموذج مختلف عن تلك المستخدمة لتدريب النموذج المدرَّب مسبقًا. على سبيل المثال، يمكنك ضبط نموذج صور كبير مدرَّب مسبقًا لإنشاء نموذج انحدار يعرض عدد الطيور في صورة إدخال.

المقارنة والتباين في الضبط الدقيق باستخدام المصطلحات التالية:

• الاستخلاص
• التعلّم القائم على التعليمات

كتان

#language

هي مكتبة مفتوحة المصدر ومفتوحة المصدر ذات أداء عالٍ للتعلّم المعمّق، تستند إلى JAX. يوفر الكتان وظائف لتدريب الشبكات العصبية، فضلاً عن طرق لتقييم أدائها.

شكل الكتان

#language

هي مكتبة Transformer مفتوحة المصدر، تستند إلى خدمة Flax، ومصمَّمة بشكل أساسي لمعالجة اللغات الطبيعية والأبحاث متعددة الوسائط.

G

الذكاء الاصطناعي التوليدي

#language

#image

#generativeAI

مجال تحويلي صاعد بدون تعريف رسمي. يتفق معظم الخبراء على أنّ نماذج الذكاء الاصطناعي التوليدي يمكنها إنشاء ("إنشاء") محتوى ينطبق عليه كل ما يلي:

• معقد
• متماسكة
• الصورة الأصلية

على سبيل المثال، يمكن لنموذج الذكاء الاصطناعي التوليدي إنشاء مقالات أو صور معقدة.

يمكن أيضًا لبعض التقنيات السابقة، بما في ذلك LSTM وRNN، إنشاء محتوى أصلي ومتناسق. يرى بعض الخبراء أنّ هذه التقنيات السابقة هي ذكاء اصطناعي توليدي، بينما يعتقد البعض الآخر أنّ الذكاء الاصطناعي التوليدي الحقيقي يتطلّب إنتاج بيانات أكثر تعقيدًا من تلك التي يمكن أن تنتجها التكنولوجيات السابقة.

تتعارض مع تعلُّم الآلة القائم على التوقّعات.

GPT (المحول التوليدي المدرّب مسبقًا)

#language

مجموعة من النماذج اللغوية الكبيرة المستندة إلى المحولات تم تطويرها من قِبل OpenAI.

يمكن تطبيق صيغ GPT على طرق متعدّدة، بما في ذلك:

• إنشاء الصور (على سبيل المثال، ImageGPT)
• إنشاء تحويل النص إلى صورة (على سبيل المثال، DALL-E).

H

هلوسة

#language

إنتاج مخرجات تبدو منطقية ولكن غير صحيحة في الواقع من خلال نموذج ذكاء اصطناعي توليدي يزعم أنّه يؤكّد على العالم الواقعي على سبيل المثال، نموذج للذكاء الاصطناعي التوليدي الذي يزعم أنّ باراك أوباما توفي في عام 1865 مُخطئًا.

I

التعلّم حسب السياق

#language

#generativeAI

مرادف لعبارة طلب بضع لقطات.

L

نموذج لغوي مخصَّص لتطبيقات المحادثة (LaMDA)

#language

هو نموذج لغوي كبير يستند إلى المحوّل وطوّرته Google وتم تدريبه على مجموعة بيانات حوارية كبيرة يمكنها إنشاء ردود واقعية في المحادثة.

LaMDA: تقدّم تكنولوجيا المحادثة الرائعة نظرة عامة

نموذج لغوي

#language

يشير ذلك المصطلح إلى model يقدّر احتمالية حدوث model أو تسلسل من الرموز المميّزة في تسلسل أطول من الرموز المميّزة.

انقر على الرمز للحصول على ملاحظات إضافية.

على الرغم من تعارض هذه النماذج البديهية، إلا أنّ العديد من النماذج التي تقيّم النص لا تشكّل نماذج لغوية. على سبيل المثال، لا تكون نماذج تصنيف النصوص ونماذج تحليل الآراء نماذج لغوية.

---

نموذج لغوي كبير

#language

مصطلح غير رسمي بدون تعريف دقيق يعني عادةً نموذج لغوي يتضمّن عددًا كبيرًا من المَعلمات. تحتوي بعض النماذج اللغوية الكبيرة على أكثر من 100 مليار مَعلمة.

انقر على الرمز للحصول على ملاحظات إضافية.

قد تتساءل عن متى أصبح نموذج اللغة كبيرًا بما يكفي ليُسمّى نموذج لغوي كبير. حاليًا، لا يوجد سطر محدد متفق عليه لعدد المعاملات.

تستند معظم النماذج اللغوية الكبيرة الحالية (على سبيل المثال، GPT) إلى بنية Transformer.

---

ن

نموذج لغة مقنعة

#language

يشير ذلك المصطلح إلى نموذج لغة يتوقّع احتمالية ملء الرموز المميّزة للمرشح في الفراغات في تسلسل. على سبيل المثال، يمكن لنموذج اللغة المقنع حساب احتمالات الكلمات المرشحة لاستبدال التسطير في الجملة التالية:

وعاد ____ في القبّعة.

تستخدم الأعمال الأدبية عادةً السلسلة "MASK" بدلاً من التسطير. مثلاً:

وعاد "القناع" الذي يظهر في القبّعة مرةً أخرى.

معظم النماذج الحديثة اللغوية المخفية تكون ثنائية الاتجاه.

التعلّم الوصفي

#language

يشير ذلك المصطلح إلى مجموعة فرعية من تعلُّم الآلة يمكنها اكتشاف خوارزمية تعلُّم أو تحسينها. يمكن أن يهدف نظام التعلّم الوصفي أيضًا إلى تدريب نموذج لتعلُّم مهمة جديدة بسرعة من خلال كمية صغيرة من البيانات أو من الخبرة المكتسبة خلال المهام السابقة. تحاول خوارزميات التعلم الآلي تحقيق ما يلي بشكل عام:

• تحسين/تعلم الميزات التي تمت إضافتها يدويًا (مثل أداة الإعداد أو التحسين).
• تحقيق المزيد من الكفاءة في استخدام البيانات والحوسبة
• تحسين التعميم.

يرتبط التعلّم التعريفي بالتعلّم الذي يتضمّن بضع لقطات.

طريقة

#language

تمثّل هذه السمة فئة بيانات عالية المستوى. على سبيل المثال، تعد الأرقام والنص والصور والفيديو والصوت خمس طرق مختلفة.

التوازي بين النماذج

#language

طريقة لتوسيع نطاق التدريب أو الاستنتاج تضع أجزاء مختلفة من model واحد على model مختلفة. تتيح التوازي للنماذج إمكانية استخدام النماذج الكبيرة جدًا بحيث لا يمكن وضعها في جهاز واحد.

لتنفيذ نموذج التوازي، يُجري النظام عادةً ما يلي:

1. يقسّم النموذج إلى أجزاء أصغر.
2. يوزِّع تدريب تلك الأجزاء الأصغر حجمًا على مُعالجات متعددة. يقوم كل معالج بتدريب الجزء الخاص به من النموذج.
3. تدمج النتائج لإنشاء نموذج واحد.

يؤدي التوازي للنموذج إلى إبطاء التدريب.

يمكنك أيضًا الاطّلاع على التوازي مع البيانات.

مراقبة ذاتية لعدة رؤوس

#language

يشير ذلك المصطلح إلى توسيع نطاق الانتباه الذاتي الذي يطبّق آلية الانتباه الذاتي عدة مرات لكل موضع في تسلسل الإدخال.

وفّرت المحولات الانتباه الذاتي لعدة رؤوس.

نموذج متعدد الوسائط

#language

يشير ذلك إلى النموذج الذي تتضمّن مدخلاته و/أو مخرجاته أكثر من طريقة واحدة. على سبيل المثال، يمكن أن نعتبر نموذجًا يتم فيه استخدام صورة وترجمة نصية (بطريقتين) كميزة، ويقدم نتيجة تشير إلى مدى ملاءمة الشرح النصي للصورة. إذًا، تكون مدخلات هذا النموذج متعددة الوسائط والمخرجات أحادية الاتجاه.

N

فهم اللغات الطبيعية

#language

تحديد نوايا المستخدم بناءً على ما كتبه المستخدم أو قاله على سبيل المثال، يستخدم محرك بحث فهم اللغة الطبيعية لتحديد ما يبحث عنه المستخدم استنادًا إلى ما كتبه المستخدم أو قاله.

ن-غرام

#seq

#language

يشير ذلك المصطلح إلى تسلسل مُرتب من N كلمة. على سبيل المثال، يبلغ وزن truly madly 2 غرام. نظرًا لأهمية الطلب، بحق الجنون يختلف حجمه عن 2 غرام عن جنون حقًا.

N	الأسماء لهذا النوع من N-غرام	أمثلة
2	بيغ رام أو 2 غرام	الذهاب إلى مكان العمل، وتناول الغداء، وتناول العشاء
3	تريغرام أو 3 غرام	أكلت الكثير من الطعام، وثلاثة فئران مكفوفين، وادفع رسوم الجرس
4	4 غرام	يمشي في الحديقة، وغبار في الهواء، وأكل الصبي العدس

تعتمد العديد من نماذج فهم اللغات الطبيعية على "N-gram" لتوقّع الكلمة التالية التي سيكتبها المستخدم أو يقولها. على سبيل المثال، افترض أن أحد المستخدمين كتب ثلاثة شرائح مشفّرة. من المرجّح أن يتوقّع نموذج NLU استنادًا إلى الرموز الثلاثية الأبعاد أن المستخدم سيكتب الفأرة بعد ذلك.

تباين بين N-غرام وكيس من الكلمات، وهي مجموعات كلمات غير مرتبة.

فهم اللغات الطبيعية

#language

اختصار يشير إلى فهم اللغة الطبيعية.

O

المطالبة بلقطة واحدة

#language

#generativeAI

إشعار يتضمّن مثالاً واحدًا يوضّح كيفية استجابة نموذج اللغة الكبيرة على سبيل المثال، تحتوي المطالبة التالية على مثال واحد يوضح نموذج لغوي كبير كيف يجب أن يجيب على استعلام.

أجزاء من إشعار واحد	Notes
ما هي العملة الرسمية للبلد المحدّد؟	السؤال الذي تريد الإجابة عنه من خلال النموذج اللغوي الكبير (LLM).
فرنسا: يورو	مثال واحد.
الهند:	طلب البحث الفعلي.

قارِن بين الطلب من لقطة واحدة والمصطلحات التالية:

• عدم تسجيل هدف
• طلب تنفيذ بضع لقطات

P

ضبط فعّال معلَمة

#language

#generativeAI

هو مجموعة من التقنيات لضبط نموذج لغوي مدرّب مسبقًا (PLM) كبير أكثر من التعديلات الدقيقة الكاملة. يضبط عادةً الضبط الفعال مع المعلمات معلَمات أقل بكثير من الضبط الكامل، ولكن ينتج بشكل عام نموذج لغوي كبير يحقّق أداءً جيدًا (أو شبه كالتالي) مثل نموذج لغوي كبير تم إنشاؤه من التوليف الدقيق.

المقارنة والتباين بين التوليف الفعال للمعلَمات مع:

• ضبط التعليمات
• ضبط الطلبات

يُعرف التوليف الفعال مع المَعلمات أيضًا باسم ضبط فعّال للمعلَمات.

مسارات التعلّم

#language

يشير ذلك المصطلح إلى شكل من أشكال التوازي للنموذج الذي يتم فيه تقسيم معالجة النموذج إلى مراحل متتابعة ويتم تنفيذ كل مرحلة على جهاز مختلف. أثناء معالجة المرحلة لدفعة واحدة، يمكن أن تعمل المرحلة السابقة على الدفعة التالية.

راجِع أيضًا التدريب على مراحل.

منظمة PLM

#language

#generativeAI

اختصار يشير إلى نموذج لغوي مدرّب مسبقًا.

الترميز الموضعي

#language

أسلوب لإضافة معلومات عن موضع الرمز المميّز في تسلسل إلى تضمين الرمز المميّز. تستخدم نماذج المحولات الترميز الموضعي لفهم العلاقة بين الأجزاء المختلفة من التسلسل بشكل أفضل.

أحد التطبيقات الشائعة للترميز الموضعي يستخدم دالة جيبية. (على وجه التحديد، يتم تحديد تكرار وسعة الدالة الجيبية من خلال موضع الرمز المميز في التسلسل). تُمكِّن هذه التقنية نموذج المحول من تعلم كيفية مراعاة أجزاء مختلفة من التسلسل بناءً على موضعها.

نموذج مدرَّب مسبقًا

#language

#image

#generativeAI

النماذج أو مكوّنات النماذج (مثل متجه تضمين) التي سبق أن تم تدريبها. في بعض الأحيان، ستدخل متّجهات تضمين مدرّبة مسبقًا في شبكة عصبية. وفي أحيان أخرى، سيعمل النموذج على تدريب متجهات التضمين نفسها بدلاً من الاعتماد على التضمينات المدرّبة مسبقًا.

يشير مصطلح نموذج لغوي مدرّب مسبقًا إلى نموذج لغوي كبير وخضع لتدريب مسبق.

التدريب المُسبَق

#language

#image

#generativeAI

يشير ذلك المصطلح إلى التدريب الأوّلي على نموذج معيّن على مجموعة بيانات كبيرة. بعض النماذج المدرَّبة مسبقًا هي نماذج عمالقة أحرجة ويجب تحسينها عادةً من خلال تدريب إضافي. على سبيل المثال، قد يدرّب خبراء تعلّم الآلة مسبقًا نموذجًا لغويًا كبيرًا على مجموعة بيانات نصية ضخمة، مثل جميع الصفحات باللغة الإنجليزية في ويكيبيديا. بعد التدريب المسبق، يمكن تحسين النموذج الناتج بشكل أكبر من خلال أي من الأساليب التالية:

• الاستخلاص
• ضبط الصوت بدقة
• ضبط التعليمات
• ضبط فعّال للمعلَمات
• ضبط الإشعار

رسالة مطالبة

#language

#generativeAI

أي نص يتمّ إدخاله كإدخال في نموذج لغوي كبير لضبط النموذج لكي يتصرف بطريقة معيّنة يمكن أن تكون المطالبات قصيرة مثل العبارة أو طويلة بشكل عشوائي (على سبيل المثال، النص الكامل لرواية). تنقسم المطالبات إلى فئات متعددة، بما في ذلك تلك المعروضة في الجدول التالي:

فئة الإشعار	مثال	Notes
السؤال	ما مدى سرعة الطيور في الطيران؟
مدرسة تعليم	كتابة قصيدة مضحكة عن التحكيم:	إشعار يطلب من نموذج اللغة الكبير تنفيذ إجراء ما.
مثال	ترجمة التعليمات البرمجية Markdown إلى HTML. على سبيل المثال: Markdown: * عنصر قائمة HTML: <ul> <li>عنصر القائمة</li> </ul>	الجملة الأولى في هذا المثال المطالبة هي تعليمات. بقية المطالبة هي المثال.
الدور	يُرجى توضيح سبب استخدام خوارزمية انحدار التدرج في التدريب على تعلُّم الآلة للحصول على درجة الدكتوراه في الفيزياء.	الجزء الأول من الجملة هو تعليمات، والعبارة "إلى شهادة دكتوراه في الفيزياء" هي جزء الدور.
إدخال جزئي لإكمال النموذج	يعيش رئيس وزراء المملكة المتحدة في	يمكن أن ينتهي طلب الإدخال الجزئي بشكل مفاجئ (كما هو الحال في هذا المثال) أو ينتهي بشرطة سفلية.

يمكن لنموذج الذكاء الاصطناعي التوليدي أن يتجاوب مع أي طلب بإضافة نص أو رمز أو صور أو وحدات تضمين أو فيديوهات، أو أي شيء تقريبًا.

التعلُّم القائم على الطلب

#language

#generativeAI

يشير ذلك المصطلح إلى إمكانية لنماذج معيّنة تتيح تعديل سلوكها استجابةً للإدخال العشوائي للنص (الطلبات). في نموذج التعلّم المستند إلى الطلبات النموذجية، يستجيب نموذج لغوي كبير للسؤال من خلال إنشاء نص. على سبيل المثال، لنفترض أن مستخدمًا أدخل المطالبة التالية:

تلخيص قانون الحركة الثالث لنيوتن.

إن النموذج القادر على التعلم القائم على المطالبة لا يتم تدريبه بشكل خاص للإجابة على المطالبة السابقة. بل إنّ النموذج "يعرف" الكثير من الحقائق حول الفيزياء، والكثير من القواعد اللغوية العامة، ويعرف كثيرًا بما يشكّل إجابات مفيدة بشكل عام. هذه المعرفة كافية لتقديم إجابة مفيدة (نأمل). من خلال ملاحظات بشرية إضافية ("كانت تلك الإجابة معقّدة جدًا" أو "ما التفاعل؟")، يمكن لبعض أنظمة التعلُّم المستندة إلى الطلبات أن تحسّن تدريجيًا فائدة تلك الإجابات.

تصميم المطالبة

#language

#generativeAI

مرادف لعبارة هندسة مطالبة.

هندسة الطلبات

#language

#generativeAI

أسلوب إنشاء الطلبات التي تجذب الردود المطلوبة من نموذج لغوي كبير يقوم البشر بإجراء هندسة فورية. تعد كتابة مطالبات جيدة التنظيم جزءًا أساسيًا من ضمان ردود مفيدة من نموذج لغوي كبير. تعتمد الهندسة الفورية على العديد من العوامل، بما في ذلك:

• مجموعة البيانات التي تم استخدامها للتدريب المسبق وربما تحسين نموذج اللغة الكبير.
• يشير ذلك المصطلح إلى degree ومعلَمات فك الترميز الأخرى التي يستخدمها النموذج لإنشاء الاستجابات.

راجِع مقدمة عن تصميم المطالبة لمزيد من التفاصيل حول كتابة الطلبات المفيدة.

تصميم رسالة المطالبة هو مرادف للهندسة الفورية.

ضبط الإشعارات

#language

#generativeAI

آلية ضبط فعّال للمعلَمات تتعرّف على "بادئة" يضيفها النظام قبل الإشعار الفعلي.

من أشكال توليف المطالبة، التي يُطلق عليها أحيانًا اسم ضبط البادئة، إضافة البادئة إلى كل طبقة. في المقابل، يؤدي معظم ضبط الإشعارات إلى إضافة بادئة إلى طبقة الإدخال فقط.

انقر على الرمز لمعرفة المزيد من المعلومات حول البادئات.

بالنسبة إلى ضبط الطلب، فإن "البادئة" (المعروفة أيضًا باسم "الطلب الجزئي") هي مجموعة من المتجهات التي تم تعلمها ومحددة للمهمة والتي يتم إضافتها قبل تضمين الرموز المميزة النصية من الطلب الفعلي. يتعرّف النظام على المطالبة البسيطة من خلال تجميد جميع معلمات النموذج الأخرى وضبطها لمهمة محددة.

---

R

المطالبة بالدور

#language

#generativeAI

جزء اختياري من طلب يحدّد جمهورًا مستهدفًا لاستجابة نموذج الذكاء الاصطناعي التوليدي. وبدون طلب الدور، يقدّم النموذج اللغوي الكبير إجابة قد تكون مفيدة أو لا تكون مفيدة للشخص الذي يطرح الأسئلة. من خلال طلب الدور، يمكن لنموذج اللغة الكبير الإجابة بطريقة أكثر ملاءمة وأكثر فائدة لجمهور مستهدف محدّد. على سبيل المثال، يظهر جزء مطالبة الدور في المطالبات التالية بخط غامق:

• تلخيص هذه المقالة للحصول على درجة الدكتوراه في الاقتصاد.
• يُرجى وصف طريقة عمل المد والجزر لعمر 10 سنوات.
• شرح الأزمة المالية لعام 2008 تحدث كما يمكنك إلى طفل صغير أو كلب جولدن ريتريفر.

S

الانتباه الذاتي (تُسمّى أيضًا طبقة الانتباه الذاتي)

#language

يشير ذلك المصطلح إلى طبقة الشبكة العصبية التي تحوِّل سلسلة من عمليات التضمين (مثل عمليات تضمين الرمز المميّز) إلى تسلسل آخر من عمليات التضمين. يتم إنشاء كل عملية تضمين في تسلسل الإخراج عن طريق دمج المعلومات من عناصر تسلسل الإدخال من خلال آلية انتباه.

يشير جزء self من الانتباه الذاتي إلى التسلسل الذي يحضر لنفسه بدلاً من بعض السياق الآخر. يُعدّ الانتباه الذاتي إحدى اللبنات الأساسية للمحولات ويستخدم مصطلحات بحث القاموس، مثل "طلب" و"مفتاح" و"قيمة".

تبدأ طبقة الانتباه الذاتي بسلسلة من تمثيلات الإدخال، واحدة لكل كلمة. يمكن أن يكون تمثيل إدخال كلمة ما تضمينًا بسيطًا. بالنسبة إلى كل كلمة في تسلسل الإدخال، تُدرج الشبكة مدى صلة الكلمة بكل عنصر في التسلسل الكامل للكلمات. تحدد درجات الصلة مدى احتواء التمثيل النهائي للكلمة على تمثيلات الكلمات الأخرى.

على سبيل المثال، ضع في الاعتبار الجملة التالية:

لَمْ يعبر الحيوان الشارع لأنّه كان متعبًا للغاية.

من خلال الرسم التوضيحي التالي (من كتاب Transformer: A New Neural Network لواجهة فهم اللغة)، يتم عرض نمط انتباه طبقة الانتباه الذاتي للضمير هو، مع أنّ كل سطر يشير إلى مدى مساهمة كل كلمة في التعبير:

تميِّز طبقة الانتباه الذاتي الكلمات ذات الصلة بـ "البحث". في هذه الحالة، تعلمت طبقة الانتباه تمييز الكلمات التي قد تشير إليها، مع تحديد أكبر وزن لـ حيوان.

في تسلسل n الرمز المميز، يحوِّل الانتباه الذاتي تسلسل عمليات التضمين n في أوقات منفصلة، مرة في كل موضع في التسلسل.

يمكنك أيضًا الاطّلاع على الانتباه والانتباه الذاتي لعدة رؤوس.

تحليل الآراء

#language

استخدام الخوارزميات الإحصائية أو التعلم الآلي لتحديد الموقف العام للمجموعة - إيجابي أو سلبي - تجاه خدمة أو منتج أو مؤسسة أو موضوع. على سبيل المثال، يمكن لخوارزمية فهم اللغات الطبيعية إجراء تحليل لآراء المستخدمين حول الملاحظات النصية الواردة من دورة تدريبية جامعية، وذلك لتحديد الدرجة التي أبدى فيها الطلاب إعجابهم بالدورة التدريبية أو لم يعجبهم بشكل عام.

مَهمّة من تسلسل إلى تسلسل

#language

يشير ذلك المصطلح إلى مهمة تحوِّل تسلسل إدخال النماذج المميّزة إلى تسلسل ناتج من الرموز المميّزة. على سبيل المثال، هناك نوعان شائعان من مهام التسلسل إلى تسلسل هما:

• المترجمون:
  • نموذج لتسلسل الإدخال: "أحبك".
  • نموذج لتسلسل الإخراج: "Je t'aime".
• الإجابة على الأسئلة:
  • نموذج لتسلسل الإدخال: "هل أحتاج إلى سيارتي في مدينة الرياض؟"
  • نموذج تسلسل الإخراج: "لا. يُرجى إبقاء سيارتك في المنزل".

خاصية متنافية

#language

#fundamentals

ميزة تكون قيمها في الغالب صفر أو فارغة. فعلى سبيل المثال، تكون إحدى الخصائص التي تحتوي على قيمة 1 واحدة ومليون قيمة 0 ضئيلة. في المقابل، تتضمّن الميزة الكثيفة قيمًا لا تكون صفرًا أو فارغة في الغالب.

في التعلم الآلي، هناك عدد مفاجئ من الميزات يتسم بندرة ضئيلة. عادةً ما تكون الخصائص الفئوية ميزات قليلة. على سبيل المثال، من بين 300 نوع محتمل من الأشجار في الغابة، قد يحدد مثال واحد شجرة قيقب فقط. أو من بين الملايين من مقاطع الفيديو المحتملة في مكتبة الفيديو، قد يحدد مثال واحد "الدار البيضاء" فقط.

في النموذج، تمثل عادةً ميزات قليلة باستخدام ترميز واحد فعال. إذا كان الترميز الأحادي كبيرًا، يمكنك وضع طبقة تضمين فوق الترميز الأحادي اللون لزيادة الكفاءة.

تمثيل متناثر

#language

#fundamentals

تخزين مواضع العناصر غير الصفرية فقط في عنصر قليل.

على سبيل المثال، لنفترض أنّ ميزة فئوية تُسمى species تحدد 36 نوعًا من أنواع الأشجار في غابة معيّنة. وافترض أيضًا أنّ كل مثال يحدّد نوعًا واحدًا فقط.

يمكنك استخدام متجه حار واحد لتمثيل أنواع الأشجار في كل مثال. سيحتوي المتجه أحادي الاتجاه على 1 واحد (لتمثيل أنواع الأشجار المعيّنة في هذا المثال) و35 خطأ 0 (لتمثيل أنواع الأشجار الـ 35 وليس في هذا المثال). لذلك، قد يبدو التمثيل الحاد لـ maple على النحو التالي:

بدلاً من ذلك، سيحدد التمثيل المحدود ببساطة موضع أنواع معينة. إذا كان maple في الموضع 24، سيكون تمثيل maple البسيط على النحو التالي:

24

لاحظ أن التمثيل المحدود هو أكثر إحكاما بكثير من التمثيل الساخن الواحد.

ملاحظة: يجب عدم تمرير تمثيل بسيط كإدخال مباشر للميزة إلى النموذج. بدلاً من ذلك، عليك تحويل التمثيل المحدود إلى تمثيل واحد فعال قبل التدرّب عليه.

انقر فوق الأيقونة للحصول على مثال أكثر تعقيدًا قليلاً.

لنفترض أن كل مثال في نموذجك يجب أن يمثل الكلمات - وليس ترتيب تلك الكلمات - في جملة إنجليزية. تتألف اللغة الإنجليزية من حوالي 170,000 كلمة، لذا فإنّ اللغة الإنجليزية هي ميزة فئوية تحتوي على حوالي 170,000 عنصر. تستخدم معظم الجمل الإنجليزية جزءًا صغيرًا للغاية من هذه الكلمات البالغ عددها 170،000 كلمة، لذا من المؤكد تقريبًا أن مجموعة الكلمات في مثال واحد ستكون بيانات قليلة.

ضع في اعتبارك الجملة التالية:

My dog is a great dog

يمكنك استخدام صيغة من المتجه أحادي اللون لتمثيل الكلمات في هذه الجملة. في هذا المتغير، يمكن أن تحتوي الخلايا المتعددة في المتجه على قيمة غير صفرية. علاوة على ذلك، في هذا المتغير، يمكن أن تحتوي الخلية على عدد صحيح غير واحد. على الرغم من أن الكلمات "my" و"is" و"a" و "رائع" تظهر مرة واحدة فقط في الجملة، تظهر كلمة "كلب" مرتين. يؤدي استخدام هذا المتغير من المتجهات الساخنة واحدة لتمثيل الكلمات في هذه الجملة إلى إنشاء الخط المتجه التالي المكون من 170000 عنصر:

يمكن ببساطة أن يكون تمثيل الجملة نفسه على النحو التالي:

0: 1
26100: 2
45770: 1
58906: 1
91520: 1

---

انقر فوق الأيقونة إذا كنت مرتبكًا.

يربك مصطلح "التمثيل المتباين" الكثير من الأشخاص لأن التمثيل المحدود هو في حد ذاته ليس متجهًا بسيطًا. بدلاً من ذلك، فإن التمثيل المحدود هو في الواقع تمثيل كثيف لمتجه ضئيل. إنّ المرادفات تمثيل الفهرس أوضح بعض الشيء من "تمثيل تناقص".

---

تدريب مرحلي

#language

يشير ذلك المصطلح إلى أسلوب لتدريب نموذج على سلسلة من المراحل المنفصلة. يمكن أن يكون الهدف إما تسريع عملية التدريب أو تحقيق جودة نموذج أفضل.

في ما يلي صورة توضيحية لمنهج تكديس التدريجي:

• تحتوي المرحلة 1 على 3 طبقات مخفية، وتحتوي المرحلة الثانية على 6 طبقات مخفية، وتحتوي المرحلة 3 على 12 طبقة مخفية.
• تبدأ المرحلة 2 التدريب باستخدام الأوزان التي تم تعلمها في الطبقات الثلاث الخفية المرحلة 1. تبدأ المرحلة 3 التدريب بالأوزان التي تم تعلمها في الطبقات الست الخفية من المرحلة 2.

راجِع أيضًا المعالجة.

T

T5

#language

نموذج تحويل تحويل النصوص إلى نص تم تقديمه بواسطة Google AI في عام 2020. إنّ النموذج T5 هو نموذج يستخدم برنامج ترميز لفك الترميز يستند إلى بنية Transformer التي تم تدريبه على مجموعة بيانات كبيرة جدًا. فهي فعالة في مجموعة متنوعة من مهام معالجة اللغات الطبيعية، مثل إنشاء النصوص، وترجمة اللغات، والإجابة على الأسئلة بطريقة تحاورية.

اشتق T5 اسمه من أحرف T الخمسة في "تحويل النص إلى نص".

T5X

#language

يشير هذا المصطلح إلى إطار عمل مفتوح المصدر من أجل تعلُّم الآلة تم تصميمه لإنشاء وتدريب نماذج معالجة اللغات الطبيعية على نطاق واسع (NLP). يتم تنفيذ T5 على قاعدة رموز T5X (المصمّمة على JAX وFlax).

درجة الحرارة

#language

#image

#generativeAI

يشير ذلك المصطلح إلى مَعلمة فائقة تتحكّم في درجة التوزيع العشوائي لمخرجات النموذج. تؤدي درجات الحرارة الأعلى إلى ناتج عشوائي أكثر، بينما تؤدي درجات الحرارة المنخفضة إلى مخرجات عشوائية أقل.

يعتمد اختيار أفضل درجة حرارة على التطبيق المحدد والخصائص المطلوبة لمخرجات النموذج. على سبيل المثال، من المحتمل أن ترفع درجة الحرارة عند إنشاء تطبيق ينشئ منتجًا إبداعيًا. بالمقابل، من المحتمل أن تخفض درجة الحرارة عند إنشاء نموذج يصنف الصور أو النص من أجل تحسين دقة النموذج واتساقه.

غالبًا ما تُستخدم درجة الحرارة مع softmax.

مساحة النص

#language

مدى فهرس الصفيف المرتبط بقسم فرعي محدد من سلسلة نصية. على سبيل المثال، تشغل كلمة good في سلسلة بايثون s="Be good now" مساحة النص من 3 إلى 6.

رمز مميز

#language

في نموذج اللغة، يشير إلى الوحدة الذرية التي يتدرب النموذج عليها ويقدّم التنبؤات بشأنها. عادةً ما يكون الرمز المميز واحدًا مما يلي:

• كلمة — على سبيل المثال، تتكون عبارة "كلاب مثل القطط" من ثلاث رموز مميزة للكلمات: "كلاب" و"أعجبني" و "قطط".
• حرف - على سبيل المثال، تتكون العبارة "سمكة دراجة" من تسعة رموز مميزة. (لاحظ أن المساحة الفارغة يتم احتسابها كواحد من الرموز المميزة).
• الكلمات الفرعية - التي يمكن أن تكون فيها الكلمة الواحدة رمزًا مميزًا واحدًا أو رمزًا مميزًا متعدد. تتكون الكلمة الفرعية من كلمة جذر أو بادئة أو لاحقة. على سبيل المثال، قد يعرض نموذج اللغة الذي يستخدم الكلمات الفرعية كرموز مميزة الكلمة "كلاب" كرمزين مميزين (كلمة الجذر "كلب" ولاحقة الجمع "s"). وقد يعرض نموذج اللغة نفسه الكلمة المفردة "أطول" ككلمتين فرعيتين (الكلمة الجذر "طويل" واللاحقة "er").

في النطاقات خارج النماذج اللغوية، يمكن أن تمثل الرموز المميزة أنواعًا أخرى من الوحدات الصغيرة. على سبيل المثال، في رؤية الكمبيوتر، قد يكون الرمز المميز مجموعة فرعية من صورة.

المحوّل

#language

يشير ذلك المصطلح إلى شبكة عصبية تم تطويرها من خلال شركة Google وتعتمد على آليات الانتباه الذاتي لتحويل تسلسل من عمليات تضمين الإدخالات إلى سلسلة من عمليات تضمين المُخرجات بدون الاعتماد على اللفات أو الشبكات العصبية المتكررة. يمكن اعتبار المحول كحزمة من طبقات الانتباه الذاتي.

يمكن أن يتضمن المحوِّل أيًّا مما يلي:

• برنامج ترميز
• برنامج فك الترميز
• برنامج ترميز وفك ترميز

يحوِّل برنامج الترميز تسلسل عمليات التضمين إلى تسلسل جديد بنفس الطول. يشتمل برنامج الترميز على N طبقات متطابقة، كل واحدة تحتوي على طبقتين فرعيتين. يتم تطبيق هاتَين الطبقتَين الفرعيتَين في كل موضع من تسلسل تضمين الإدخال، ما يؤدي إلى تحويل كل عنصر من عناصر التسلسل إلى طريقة تضمين جديدة. تعمل الطبقة الفرعية الأولى لبرنامج الترميز على تجميع المعلومات من تسلسل الإدخال. تعمل الطبقة الفرعية الثانية لبرنامج الترميز على تحويل المعلومات المجمعة إلى تضمين مخرجات.

يحوِّل برنامج فك الترميز تسلسل عمليات تضمين المدخلات إلى سلسلة من عمليات تضمين الإخراج، ويمكن أن يكون طولها مختلفًا. يتضمن برنامج فك الترميز أيضًا N طبقات متطابقة ذات ثلاث طبقات فرعية، اثنتان منها تشبه الطبقات الفرعية لبرنامج الترميز. تأخذ الطبقة الفرعية الثالثة لفك الترميز إخراجات برنامج الترميز وتطبّق آلية الانتباه الذاتي لجمع المعلومات منه.

في مشاركة المدونة Transformer: A New Neural Network Formating for Language Indexing، نقدّم مقدمةً جيدةً حول المحولات.

صورة ثلاثية الأبعاد

#seq

#language

N-gram حيث N=3.

U

أحادي الاتجاه

#language

يشير ذلك المصطلح إلى نظام يقيّم فقط النص الذي يسبق القسم المستهدَف من النص. وفي المقابل، يقيّم النظام الثنائي الاتجاه كلاً من النص الذي يسبق ويتبع قسمًا مستهدَفًا من النص. يمكنك الاطّلاع على ثنائي الاتجاه للحصول على مزيد من التفاصيل.

نموذج لغوي أحادي الاتجاه

#language

هو نموذج لغة يستند إلى احتمالاته فقط على الرموز المميّزة التي تظهر قبل الرموز المميّزة المستهدفة وليس بعد. تباينه مع نموذج لغوي ثنائي الاتجاه.

V

برنامج الترميز التلقائي المتغير (VAE)

#language

يشير ذلك المصطلح إلى نوع من برنامج الترميز التلقائي يستفيد من التناقض بين المدخلات والمخرجات لإنشاء نُسخ معدَّلة من الإدخالات. إنّ برامج الترميز التلقائي المختلفة مفيدة للذكاء الاصطناعي التوليدي.

تستند VAE إلى الاستدلال المتغير: تقنية لتقدير معاملات نموذج الاحتمال.

واط

تضمين الكلمات

#language

تمثيل كل كلمة في مجموعة كلمات في متجه للتضمين، أي تمثيل كل كلمة كمتجه لقيم النقطة العائمة بين 0.0 و1.0. الكلمات ذات المعاني المتشابهة لها تمثيلات تماثل أكثر من الكلمات ذات المعاني المختلفة. على سبيل المثال، الجزر والكرفس والخيار تتشابه التشابهات النسبية نسبيًا، حيث تختلف كثيرًا عن تمثيلات طائرة، ونظارات شمسية، ومعجون الأسنان.

Z

طلب اللقطة صفر

#language

#generativeAI

طلب لا يقدّم مثالاً على الطريقة التي تريد أن يردّ بها نموذج اللغة الكبيرة مثلاً:

أجزاء من إشعار واحد	Notes
ما هي العملة الرسمية للبلد المحدّد؟	السؤال الذي تريد الإجابة عنه من خلال النموذج اللغوي الكبير (LLM).
الهند:	طلب البحث الفعلي.

قد يتجاوب نموذج اللغة الكبير مع أيٍّ مما يلي:

• روبية
• INR
• ₹
• الروبية الهندية
• الروبية
• الروبية الهندية

جميع الإجابات صحيحة، ولكن قد تفضل تنسيقًا معينًا.

قارِن بين طلب اللقطة بدون دقة والمصطلحات التالية:

• الطلب بلقطة واحدة
• طلب تنفيذ بضع لقطات