מילון מונחים ללמידת מכונה: בינה מלאכותית גנרטיבית

הדף הזה מכיל מונחי מונחים שקשורים לבינה מלאכותית גנרטיבית. כאן אפשר למצוא את כל המונחים במילון המונחים.

A

מודל רגרסיבי אוטומטי

#language
#image
#generativeAI

model שמסיק חיזוי על סמך חיזויים קודמים שלו. לדוגמה, מודלים של שפה עם רגרסיה אוטומטית חוזים את האסימון הבא על סמך האסימונים הצפויים בעבר. כל מודלים גדולים של שפה (LLM) שמבוססים על Transformer הם רגרסיביות אוטומטית.

לעומת זאת, מודלים של תמונות שמבוססים על GAN בדרך כלל לא רגרסיביים אוטומטית, כי הם יוצרים תמונה בהעברה אחת להעברה, ולא באופן איטרטיבי בשלבים. עם זאת, חלק מהמודלים ליצירת תמונות חוזרים באופן אוטומטי כי הם יוצרים תמונה בשלבים.

C

הנחיית שרשרת מחשבות

#language
#generativeAI

שיטת הנדסת בקשות שמעודדת מודל שפה גדול (LLM) להסביר את הסיבות שלו, שלב אחרי שלב. לדוגמה, נסו לחשוב על ההנחיה הבאה, שתשימו לב במיוחד למשפט השני:

כמה כוחות G היה נהג לחוות במכונית שנוסעת מ-0 עד 90 מייל לשעה ב-7 שניות? בתשובה, מציגים את כל החישובים הרלוונטיים.

סביר להניח שהתגובה של מודל השפה הגדול:

  • הצגת רצף של נוסחאות בפיזיקה על ידי הזנת הערכים 0, 60 ו-7 במקומות המתאימים.
  • הסבירו מדוע היא בחרה בנוסחאות האלו ומה המשמעות של המשתנים השונים.

עידוד שרשרת חשיבה גורמת ל-LLM לבצע את כל החישובים, מה שיכול להוביל לתשובה נכונה יותר. בנוסף, בקשת שרשרת מחשבות מאפשרת למשתמש לבחון את השלבים במודל השפה הגדול כדי לקבוע אם התשובה הגיונית.

D

שליחת הודעה ישירה

#language
#generativeAI

מילה נרדפת ל-zero-shot Prompting.

זיקוק

#generativeAI

תהליך הקטנת הגודל של model מסוים (שנקרא model) למודל קטן יותר (שנקרא model) שמדמה את החיזויים של המודל המקורי בצורה נאמנה ככל האפשר. כדאי להשתמש בזיקוק כי למודל הקטן יותר יש שני יתרונות עיקריים על פני המודל הגדול יותר (המורה):

  • זמן הסקת מסקנות מהיר יותר
  • צריכת אנרגיה וזיכרון מופחתים

עם זאת, התחזיות של התלמיד בדרך כלל פחות טובות מהחיזויים של המורה.

הזיקוק מאמן את המודל של התלמידים למזער פונקציית הפסד על סמך ההבדל בין התפוקות של התחזיות של המודל של התלמידים והמורים.

ניתן להשוות בין זיקוק לבין המונחים הבאים:

F

פרומפט עם כמה דוגמאות

#language
#generativeAI

הודעה שמכילה יותר מדוגמה אחת ("מעט") שמדגימה איך מודל שפה גדול (LLM) צריך להגיב. לדוגמה, בהודעה הארוכה הבאה יש שתי דוגמאות שמציגות מודל שפה גדול איך לענות על שאילתה.

חלקים של פרומפט אחד הערות
מהו המטבע הרשמי של המדינה שצוינה? השאלה שאתם רוצים שה-LLM יענה עליה.
צרפת: EUR דוגמה אחת.
בריטניה: GBP דוגמה נוספת.
הודו: השאילתה עצמה.

בדרך כלל, כשמתקבלת הודעה על כך, מקבלים תוצאות רצויות יותר מאשר פרומפט ישיר (zero-shot). ופרומפט ישיר (one-shot). עם זאת, כדי ליצור הנחיה ארוכה יותר, נדרש פרומפט ארוך יותר.

הנחיות עם מעט פקודות הן סוג של למידה מבוססת-מספרים שרלוונטית ללמידה מבוססת-בקשות.

כוונון עדין

#language
#image
#generativeAI

פס אימון נוסף שספציפי למשימה מבוצע על מודל שעבר אימון מראש, כדי לחדד את הפרמטרים שלו בתרחיש ספציפי לדוגמה. לדוגמה, רצף האימון המלא בחלק ממודלים גדולים של שפה הוא:

  1. הדרכה מקדימה: אימון מודל שפה גדול על מערך נתונים כללי גדול, כמו כל דפי הוויקיפדיה באנגלית.
  2. כוונון עדין: אפשר לאמן את המודל שעבר אימון מראש לבצע משימה ספציפית, כמו מענה לשאילתות רפואיות. לרוב, כוונון עדין כולל מאות או אלפי דוגמאות שמתמקדות במשימה הספציפית.

דוגמה נוספת: רצף האימון המלא של מודל תמונה גדול הוא:

  1. pre-training: אימון מודל תמונה גדול על מערך נתוני תמונות כללי נרחב, כמו כל התמונות ב-Wikimedia Common.
  2. כוונון עדין: אפשר לאמן את המודל שעבר אימון מראש לבצע משימה ספציפית, כמו יצירת תמונות של אורקות.

כוונון עדין יכול לכלול כל שילוב של האסטרטגיות הבאות:

  • שינוי כל הפרמטרים הקיימים במודל שעבר אימון מראש. פעולה זו נקראת לפעמים כוונון עדין מלא.
  • שינוי רק חלק מהפרמטרים הקיימים של המודל שעבר אימון מראש (בדרך כלל, השכבות הקרובות ביותר לשכבת הפלט), תוך השארת הפרמטרים הקיימים ללא שינוי (בדרך כלל, השכבות הקרובות ביותר לשכבת הקלט). למידע נוסף, ראו כוונון לפי פרמטר יעיל.
  • הוספת שכבות נוספות, בדרך כלל מעל השכבות הקיימות הקרובות ביותר לשכבת הפלט.

כוונון עדין הוא סוג של העברת למידה. לכן, יכול להיות שכוונון עדין ישתמש בפונקציית אובדן אחרת או בסוג מודל אחר מאלה ששימשו לאימון המודל שעבר אימון מראש. לדוגמה, אפשר לכוונן מודל תמונה גדול שעבר אימון מראש כדי ליצור מודל רגרסיה שמחזיר את מספר הציפורים בתמונת קלט.

משווים ומשווים כוונון עדין בעזרת המונחים הבאים:

G

בינה מלאכותית גנרטיבית

#language
#image
#generativeAI

שדה טרנספורמטיבי מתפתח ללא הגדרה רשמית. עם זאת, רוב המומחים מסכימים שמודלים של בינה מלאכותית גנרטיבית יכולים ליצור ("ליצור") תוכן שכולו:

  • מורכב
  • קוהרנט
  • מקורית

לדוגמה, מודל של בינה מלאכותית גנרטיבית יכול ליצור תמונות או מאמרים מתוחכמים.

כמה מהטכנולוגיות הקודמות, כולל LSTM ורשתות RNN, יכולות גם ליצור תוכן מקורי ועקבי. חלק מהמומחים מתייחסים לטכנולוגיות הקודמות האלה כבינה מלאכותית גנרטיבית, ואילו אחרים סבורים שבינה מלאכותית גנרטיבית אמיתית דורשת פלט מורכב יותר מאשר הטכנולוגיות הקודמות יכולות להפיק.

בניגוד ללמידת מכונה חזויה.

I

למידה בהקשר

#language
#generativeAI

מילה נרדפת ל-few-shot פרומפטים.

כוונון של הוראות

#generativeAI

סוג של כוונון עדין שמשפר את היכולת של מודל בינה מלאכותית גנרטיבית לפעול לפי ההוראות. כוונון ההוראות כולל אימון של המודל על סדרת הנחיות, שבדרך כלל מתייחסות למגוון רחב של משימות. לאחר מכן, המודל שעבר כוונון לפי הוראה נוטה ליצור תשובות מועילות להנחיות באפס פקודות במגוון משימות.

השוואה והשוואה בין:

O

הנחיה בפעולה אחת

#language
#generativeAI

הודעה שמכילה דוגמה אחת שמדגימה איך מודל שפה גדול (LLM) אמור להגיב. לדוגמה, הפקודה הבאה מכילה דוגמה למודל שפה גדול (LLM) איך הוא צריך לענות על שאילתה.

חלקים של פרומפט אחד הערות
מהו המטבע הרשמי של המדינה שצוינה? השאלה שאתם רוצים שה-LLM יענה עליה.
צרפת: EUR דוגמה אחת.
הודו: השאילתה עצמה.

ניתן להשוות בין פקודות של צילום אחד למונחים הבאים:

P

כוונון עם יעילות פרמטר

#language
#generativeAI

קבוצת שיטות לכוונון גדול יותר של מודל שפה שעבר אימון מראש (PLM) בצורה יעילה יותר מאשר כוונון עדין מלא. בדרך כלל, כוונון באמצעות פרמטר יעיל מכוונן פחות פרמטרים מכוונון עדין מלא. עם זאת, לרוב הוא יוצר מודל שפה גדול (LLM) עם ביצועים טובים (או כמעט שווה) לעומת מודל שפה גדול (LLM) שנוצר מכוונון מלא.

משווים ומשווים כוונון עם יעילות פרמטרים באמצעות:

כוונון לפי יעילות פרמטר נקרא גם כוונון עדין יעיל מבחינת פרמטר.

מודל PLM

#language
#generativeAI

קיצור של מודל שפה שעבר אימון מראש.

שעבר אימון מקדים

#language
#image
#generativeAI

מודלים או רכיבי מודל (למשל וקטור הטמעה) שכבר אומנו. לפעמים צריך להזין וקטורים של הטמעה מאומנים ברשת נוירונים. במקרים אחרים, המודל יאמן את הווקטורים של ההטמעה בעצמם במקום להסתמך על הטמעות שעברו אימון מראש.

המונח מודל שפה שעבר אימון מראש מתייחס למודל שפה גדול (LLM) שעבר אימון מקדים.

לפני אימון

#language
#image
#generativeAI

אימון ראשוני של מודל על מערך נתונים גדול. חלק מהמודלים שאומנו מראש הם ענקיים מגושמים, ובדרך כלל צריך לשפר אותם באמצעות אימון נוסף. לדוגמה, מומחי למידת מכונה יכולים לאמן מראש מודל שפה גדול על מערך נתונים גדול של טקסט, כמו כל הדפים באנגלית בוויקיפדיה. לאחר אימון מראש, אפשר לשפר את המודל שיתקבל באמצעות כל אחת מהשיטות הבאות:

פרומפט

#language
#generativeAI

כל טקסט שהוזן כקלט במודל שפה גדול, כדי שהמודל יתנהג בצורה מסוימת. הפרומפטים יכולים להיות קצרים כמו ביטוי או ארוכים באופן שרירותי (לדוגמה, הטקסט המלא של רומן). הודעות נכללות בכמה קטגוריות, כולל אלה שמוצגות בטבלה הבאה:

קטגוריית ההודעה דוגמה הערות
שאלה כמה מהר יונה יכול לעוף?
הוראות כדאי לכתוב שיר מצחיק על ארביטראז'. הודעה שמבקשת ממודל השפה הגדול לבצע פעולה כלשהי.
דוגמה תרגום קוד Markdown ל-HTML. לדוגמה:
Markdown: * פריט ברשימה
HTML: <ul> <li>פריט רשימה</li> </ul>		 המשפט הראשון פרומפט לדוגמה הזה הוא הוראה. המשך הפרומפט הוא הדוגמה.
התפקיד מסבירים למה משתמשים בירידה הדרגתית באימון של למידת מכונה לקראת דוקטורט בפיזיקה. החלק הראשון של המשפט הוא הוראה; הביטוי "לדוקטור בפיזיקה" הוא חלק התפקיד.
קלט חלקי שיש להשלים את המודל ראש ממשלת בריטניה גר ב- הנחיית קלט חלקית יכולה להסתיים בפתאומיות (כמו בדוגמה הזו) או להסתיים בקו תחתון.

מודל של בינה מלאכותית גנרטיבית יכול להגיב להנחיה עם טקסט, קוד, תמונות, הטמעות, סרטונים... כמעט כל דבר.

למידה מבוססת-הנחיה

#language
#generativeAI

יכולת של מודלים מסוימים שמאפשרת להם לשנות את ההתנהגות שלהם בתגובה לקלט טקסט שרירותי (הודעות בקשה). בפרדיגמה טיפוסית של למידה מבוססת-הנחיה, מודל שפה גדול מגיב להנחיה באמצעות יצירת טקסט. לדוגמה, נניח שמשתמש מזין את הבקשה הבאה:

תסכם את חוק התנועה השלישי של ניוטון.

מודל עם יכולות של למידה מבוססת-הנחיה לא הוכשר באופן ספציפי לענות על ההנחיה הקודמת, אלא, המודל "יודע" הרבה עובדות על פיזיקה, הרבה על כללי שפה כלליים והרבה על מה מורכב מתשובות שימושיות באופן כללי. הידע הזה יספיק כדי לספק תשובה מועילה (בתקווה). משוב אנושי נוסף ("התשובה הייתה מורכבת מדי" או "מה הייתה התגובה?") מאפשר למערכות למידה מסוימות לשפר בהדרגה את מידת היעילות של התשובות שלהן.

עיצוב פרומפט

#language
#generativeAI

מילה נרדפת להנדסת בקשות.

הנדסת פרומפטים

#language
#generativeAI

יצירת הודעות בקשה שמפיקות את התגובות הרצויות ממודל שפה גדול (LLM). בני אדם מבצעים הנדסת פרומפטים. חשוב מאוד לכתוב הנחיות שמובנות בצורה טובה כדי להבטיח תשובות מועילות ממודל שפה גדול. הנדסת הפרומפטים תלויה בגורמים רבים, כולל:

במאמר מבוא לעיצוב פרומפטים מוסבר איך לכתוב הנחיות מועילות.

עיצוב פרומפטים הוא מילה נרדפת להנדסת פרומפטים.

כוונון של הנחיות

#language
#generativeAI

מנגנון כוונון יעיל של פרמטר שלומד "קידומת" שהמערכת מצרפת לפני הבקשה בפועל.

אחת הווריאציות של כוונון הנחיות, שלפעמים נקראת כוונון קידומת, היא להוסיף את הקידומת בתחילת כל שכבה. לעומת זאת, ברוב המקרים כוונון של הנחיות מוסיף קידומת רק לשכבת הקלט.

R

חיזוק הלמידה ממשוב אנושי (RLHF)

#generativeAI
#rl

שימוש במשוב ממדרגים אנושיים לשיפור איכות התשובות של המודל. לדוגמה, מנגנון RLHF יכול לבקש ממשתמשים לדרג את איכות התשובה של דגם מסוים באמצעות אמוג'י 👍 או 👎. לאחר מכן המערכת תוכל לשנות את התשובות העתידיות שהתקבלו בהתאם למשוב הזה.

הצעות לתפקידים

#language
#generativeAI

חלק אופציונלי מהודעה שמזהה קהל יעד בתגובה של מודל בינה מלאכותית גנרטיבית. בלי בקשת תפקידים, מודל שפה גדול (LLM) מספק תשובה מועילה שיכול להיות, או לא, מועילה למי ששואל את השאלות. עם בקשת תפקידים, מודל שפה גדול יכול לענות על השאלה בצורה נכונה ומועילה יותר לקהל יעד ספציפי. לדוגמה, החלק של בקשות התפקיד בהודעות הבאות מופיע בגופן מודגש:

  • תסכם את המאמר הזה לקבלת דוקטורט בכלכלה.
  • תארו איך פועלים גאות ושפל לילדים בני עשר.
  • להסביר את המשבר הפיננסי ב-2008. דברו כמו שאתם אומרים לילד צעיר או לגולדן רטריבר.

T

טמפרטורה

#language
#image
#generativeAI

היפר-פרמטר שקובע את מידת האקראיות של הפלט של המודל. טמפרטורה גבוהה יותר מובילה לפלט אקראי יותר, וטמפרטורות נמוכות יותר מניבות פחות פלט אקראי.

בחירת הטמפרטורה הטובה ביותר תלויה באפליקציה הספציפית ובמאפיינים הרצויים של הפלט של המודל. לדוגמה, סביר להניח להעלות את הטמפרטורה כשיוצרים אפליקציה שיוצרת פלט של קריאייטיב. לעומת זאת, כדאי להוריד את הטמפרטורה כשבונים מודל שמסווג תמונות או טקסט כדי לשפר את הדיוק והעקביות של המודל.

משתמשים בטמפרטורה בדרך כלל בעזרת softmax.

Z

פרומפט ישיר (zero-shot).

#language
#generativeAI

הודעה שלא מספקת דוגמה לאופן שבו רוצים שמודל השפה הגדול יגיב. לדוגמה:

חלקים של פרומפט אחד הערות
מהו המטבע הרשמי של המדינה שצוינה? השאלה שאתם רוצים שה-LLM יענה עליה.
הודו: השאילתה עצמה.

מודל השפה הגדול עשוי להגיב באמצעות אחת מהאפשרויות הבאות:

  • רופיות
  • INR
  • ₹
  • רופי הודי
  • הרופי
  • רופי הודי

כל התשובות נכונות, אם כי ייתכן שתעדיפו פורמט מסוים.

ניתן להשוות בין פקודות שמוצגות על ידי אפס קוד באמצעות המונחים הבאים: