מילון מונחים ללמידת מכונה

המילון הזה מגדיר מונחים שקשורים ללמידת מכונה.

יש לך שאלות לגבי המילון הזה?

תשובות לכל השאלות.

A

אבלציה

טכניקה להערכת החשיבות של תכונה או רכיב על ידי הסרה זמנית של התכונה או הרכיב ממודל. לאחר מכן, מאמנים מחדש את המודל בלי התכונה או הרכיב האלה. אם הביצועים של המודל שאומן מחדש גרועים משמעותית, סביר להניח שהתכונה או הרכיב שהוסרו היו חשובים.

לדוגמה, נניח שאימנתם מודל סיווג על 10 מאפיינים והשגתם דיוק של 88% בקבוצת הבדיקה. כדי לבדוק את החשיבות של התכונה הראשונה, אפשר לאמן מחדש את המודל באמצעות תשע התכונות האחרות בלבד. אם הביצועים של המודל שאומן מחדש גרועים משמעותית (לדוגמה, דיוק של פחות מ-55%), כנראה שהתכונה שהוסרה הייתה חשובה. לעומת זאת, אם המודל שאומן מחדש משיג ביצועים טובים באותה מידה, כנראה שהתכונה הזו לא הייתה חשובה במיוחד.

הסרת תכונות יכולה לעזור גם לקבוע את החשיבות של:

• רכיבים גדולים יותר, כמו מערכת משנה שלמה של מערכת ML גדולה יותר
• תהליכים או טכניקות, כמו שלב של עיבוד מקדים של נתונים

בשני המקרים, תוכלו לראות איך הביצועים של המערכת משתנים (או לא משתנים) אחרי שתסירו את הרכיב.

A/B Testing

דרך סטטיסטית להשוואה בין שתי טכניקות (או יותר) – A ו-B. בדרך כלל, A היא שיטה קיימת ו-B היא שיטה חדשה. בדיקת A/B לא רק קובעת איזו טכניקה מניבה ביצועים טובים יותר, אלא גם אם ההבדל מובהק מבחינה סטטיסטית.

בבדיקות A/B בדרך כלל משווים מדד יחיד בין שתי טכניקות. לדוגמה, מהי ההשוואה בין הדיוק של מודל בין שתי טכניקות? עם זאת, בדיקות A/B יכולות גם להשוות בין מספר סופי כלשהו של מדדים.

צ'יפ של פעולה שכיחה

#GoogleCloud

קטגוריה של רכיבי חומרה מיוחדים שנועדו לבצע חישובים של מפתחות שנדרשים לאלגוריתמים של למידה עמוקה.

שבבי האצה (או בקיצור מאיצים) יכולים להגדיל באופן משמעותי את המהירות והיעילות של משימות אימון והסקת מסקנות בהשוואה למעבד למטרה כללית. הם אידיאליים לאימון רשתות עצביות ולמשימות דומות שדורשות הרבה משאבי מחשוב.

דוגמאות לשבבי האצה:

• יחידות Tensor Processing Units ‏ (TPU) של Google עם חומרה ייעודית ללמידה עמוקה.
• מעבדים גרפיים של NVIDIA, שתוכננו במקור לעיבוד גרפי, אבל הם מאפשרים עיבוד מקבילי, שיכול להגדיל משמעותית את מהירות העיבוד.

דיוק

#fundamentals

#Metric

מספר התחזיות הנכונות של הסיווג חלקי המספר הכולל של התחזיות. כלומר:

$$\text{Accuracy} = \frac{\text{correct predictions}} {\text{correct predictions + incorrect predictions }}$$

לדוגמה, למודל שביצע 40 חיזויים נכונים ו-10 חיזויים לא נכונים יהיה דיוק של:

$$\text{Accuracy} = \frac{\text{40}} {\text{40 + 10}} = \text{80%}$$

סיווג בינארי מספק שמות ספציפיים לקטגוריות השונות של תחזיות נכונות ותחזיות שגויות. לכן, הנוסחה לחישוב הדיוק בסיווג בינארי היא:

$$\text{Accuracy} = \frac{\text{TP} + \text{TN}} {\text{TP} + \text{TN} + \text{FP} + \text{FN}}$$

where:‎

• ‫TP הוא מספר החיוביים האמיתיים (תחזיות נכונות).
• ‫TN הוא מספר השליליים האמיתיים (חיזויים נכונים).
• ‫FP הוא מספר החיוביים הכוזבים (תחזיות שגויות).
• ‫FN הוא מספר השליליים הכוזבים (תחזיות שגויות).

השוו בין דיוק לבין דיוק והחזרה.

כדי לקבל פרטים על רמת הדיוק ועל מערכי נתונים לא מאוזנים, לוחצים על הסמל.

למרות שמדובר במדד חשוב במצבים מסוימים, המדד 'דיוק' עלול להטעות מאוד במצבים אחרים. חשוב לציין שדיוק הוא בדרך כלל מדד לא טוב להערכת מודלים של סיווג שמבצעים עיבוד של מערכי נתונים עם חוסר איזון בין המחלקות.

לדוגמה, נניח שבמאה שנה יורד שלג רק 25 ימים בעיר סובטרופית מסוימת. מכיוון שמספר הימים ללא שלג (הסיווג השלילי) גדול בהרבה ממספר הימים עם שלג (הסיווג החיובי), מערך הנתונים של השלג בעיר הזו הוא לא מאוזן. תארו לעצמכם מודל סיווג בינארי שאמור לחזות אם יירד שלג בכל יום, אבל הוא פשוט חוזה ש "לא יירד שלג" בכל יום. המודל הזה מדויק מאוד, אבל אין לו יכולת חיזוי. בטבלה הבאה מסוכמות התוצאות של חיזויים למשך מאה שנה:

קטגוריה	מספר
TP	0
TN	36499
FP	0
FN	25

לכן, רמת הדיוק של המודל הזה היא:

accuracy = (TP + TN) / (TP + TN + FP + FN)
accuracy = (0 + 36499) / (0 + 36499 + 0 + 25) = 0.9993 = 99.93%

למרות שרמת דיוק של 99.93% נראית מרשימה מאוד, למודל אין למעשה יכולת חיזוי.

דיוק ורגישות הם בדרך כלל מדדים שימושיים יותר מדיוק להערכת מודלים שאומנו על מערכי נתונים עם חוסר איזון בין המחלקות.

---

מידע נוסף זמין במאמר בנושא סיווג: דיוק, היזכרות, פרסיזיה ומדדים קשורים בסדנה ללמידת מכונה.

פעולה

#rl

בלמידת חיזוק, המנגנון שבאמצעותו הסוכן עובר בין מצבים של הסביבה. הסוכן בוחר את הפעולה באמצעות מדיניות.

פונקציית הפעלה

#fundamentals

פונקציה שמאפשרת לרשתות נוירונים ללמוד קשרים לא ליניאריים (מורכבים) בין התכונות לבין התווית.

פונקציות הפעלה פופולריות כוללות:

• ReLU
• סיגמואיד

הגרפים של פונקציות ההפעלה אף פעם לא קווים ישרים. לדוגמה, הגרף של פונקציית ההפעלה ReLU מורכב משני קווים ישרים:

גרף של פונקציית ההפעלה הסיגמואידית נראה כך:

כדי לראות דוגמה, לוחצים על הסמל.

ברשת נוירונים, פונקציות ההפעלה משנות את הסכום המשוקלל של כל ערכי הקלט לנוירון. כדי לחשב סכום משוקלל, הנוירון מחבר את המכפלות של הערכים והמשקלים הרלוונטיים. לדוגמה, נניח שהקלט הרלוונטי לנוירון מורכב מהנתונים הבאים:

ערך קלט	משקל קלט
2	‫1.3-
-1	0.6
3	0.4

לכן הסכום המשוקלל הוא:

‫

weighted sum = (2)(-1.3) + (-1)(0.6) + (3)(0.4) = -2.0

נניח שהמתכנן של הרשת העצבית הזו בוחר בפונקציית הסיגמואיד כפונקציית ההפעלה. במקרה כזה, הנוירון מחשב את הסיגמואיד של ‎-2.0, שהוא בערך 0.12. לכן, הנוירון מעביר את הערך 0.12 (ולא את הערך ‎-2.0) לשכבה הבאה ברשת העצבית. האיור הבא מציג את החלק הרלוונטי בתהליך:

---

מידע נוסף מופיע במאמר רשתות עצביות: פונקציות הפעלה בסדנה ללימוד מכונת למידה.

למידה פעילה

גישת אימון שבה האלגוריתם בוחר חלק מהנתונים שהוא לומד מהם. למידה פעילה שימושית במיוחד כשקשה להשיג דוגמאות עם תוויות או שהן יקרות. במקום לחפש באופן אקראי מגוון רחב של דוגמאות מתויגות, אלגוריתם של למידה פעילה מחפש באופן סלקטיבי את טווח הדוגמאות הספציפי שהוא צריך כדי ללמוד.

AdaGrad

אלגוריתם מורכב של ירידת גרדיאנט שמשנה את קנה המידה של הגרדיאנטים של כל פרמטר, וכך למעשה נותן לכל פרמטר קצב למידה עצמאי. הסבר מלא זמין במאמר Adaptive Subgradient Methods for Online Learning and Stochastic Optimization.

התאמה

#language

#image

#generativeAI

מילה נרדפת ל'כוונון' או לכוונון עדין.

נציג

#rl

תוכנה שיכולה להסיק מסקנות לגבי קלט משתמש רב-אופני כדי לתכנן ולבצע פעולות בשם המשתמש.

בלמידת חיזוק, סוכן הוא הישות שמשתמשת במדיניות כדי למקסם את התשואה הצפויה שמתקבלת ממעבר בין מצבים של הסביבה.

סידור באשכולות (clustering) היררכי מצטבר

#clustering

ראו אשכול היררכי.

זיהוי אנומליות

התהליך של זיהוי ערכים חריגים. לדוגמה, אם הממוצע של תכונה מסוימת הוא 100 עם סטיית תקן של 10, אז זיהוי האנומליות צריך לסמן ערך של 200 כחשוד.

AR

קיצור של מציאות רבודה.

השטח מתחת לעקומת ה-PR

#Metric

מידע נוסף על PR AUC (השטח מתחת לעקומת ה-PR)

השטח מתחת לעקומת ה-ROC

#Metric

מידע נוסף על AUC (השטח מתחת לעקומת ROC)

בינה מלאכותית כללית

מנגנון לא אנושי שמדגים מגוון רחב של יכולות לפתרון בעיות, יצירתיות ויכולת הסתגלות. לדוגמה, תוכנה שמדגימה בינה מלאכותית כללית יכולה לתרגם טקסט, להלחין סימפוניות ולהצטיין במשחקים שעדיין לא הומצאו.

לגבי בינה מלאכותית,

#fundamentals

תוכנה או מודל לא אנושיים שיכולים לפתור משימות מורכבות. לדוגמה, תוכנה או מודל שמתרגמים טקסט, או תוכנה או מודל שמזהים מחלות מתמונות רדיולוגיות, שניהם מציגים בינה מלאכותית.

באופן רשמי, למידת מכונה היא תחום משנה של בינה מלאכותית. עם זאת, בשנים האחרונות, חלק מהארגונים התחילו להשתמש במונחים בינה מלאכותית ולמידת מכונה לסירוגין.

תשומת הלב,

#language

מנגנון שמשמש ברשת נוירונים ומציין את החשיבות של מילה מסוימת או חלק ממילה. מנגנון תשומת הלב דוחס את כמות המידע שמודל צריך כדי לחזות את הטוקן או המילה הבאים. מנגנון תשומת לב טיפוסי עשוי לכלול סכום משוקלל של קבוצת קלטים, כאשר המשקל של כל קלט מחושב על ידי חלק אחר ברשת הנוירונים.

אפשר גם לעיין במאמרים בנושא קשב עצמי וקשב עצמי מרובה ראשים, שהם אבני הבניין של טרנספורמרים.

מידע נוסף על מנגנון תשומת הלב העצמית זמין במאמר מודלים גדולים של שפה (LLM): מהו מודל שפה גדול? בסדנת למידת מכונה.

מאפיין

#responsible

מילה נרדפת לתכונה.

בהקשר של הוגנות בלמידת מכונה, המונח 'מאפיינים' מתייחס בדרך כלל למאפיינים שקשורים לאנשים פרטיים.

דגימת מאפיינים

#df

טקטיקה לאימון של יער החלטות שבה כל עץ החלטות מתבסס רק על קבוצת משנה אקראית של תכונות אפשריות כשהוא לומד את התנאי. באופן כללי, קבוצת משנה שונה של תכונות נדגמת עבור כל צומת. לעומת זאת, כשמאמנים עץ החלטה בלי דגימת מאפיינים, כל התכונות האפשריות נלקחות בחשבון לכל צומת.

AUC (השטח מתחת לעקומת ה-ROC)

#fundamentals

#Metric

מספר בין 0.0 ל-1.0 שמייצג את היכולת של מודל סיווג בינארי להפריד בין סיווגים חיוביים לבין סיווגים שליליים. ככל שערך ה-AUC קרוב יותר ל-1.0, כך יכולת המודל להפריד בין המחלקות טובה יותר.

לדוגמה, באיור הבא מוצג מודל סיווג שמפריד בצורה מושלמת בין מחלקות חיוביות (אליפסות ירוקות) לבין מחלקות שליליות (מלבנים סגולים). למודל המושלם הלא-מציאותי הזה יש AUC של 1.0:

לעומת זאת, באיור הבא מוצגות התוצאות של מודל סיווג שיצר תוצאות אקראיות. למודל הזה יש AUC של 0.5:

כן, למודל הקודם יש AUC של 0.5, ולא 0.0.

רוב הדגמים נמצאים איפשהו בין שני הקצוות. לדוגמה, המודל הבא מפריד בין ערכים חיוביים לשליליים במידה מסוימת, ולכן ערך ה-AUC שלו הוא בין 0.5 ל-1.0:

המדד AUC מתעלם מכל ערך שתגדירו לסף הסיווג. במקום זאת, מדד ה-AUC מתייחס לכל ספי הסיווג האפשריים.

כדי לקבל מידע על הקשר בין AUC לבין עקומות ROC, לוחצים על הסמל.

הערך AUC מייצג את השטח מתחת לעקומת ROC. לדוגמה, עקומת ה-ROC של מודל שמפריד בצורה מושלמת בין ערכים חיוביים לערכים שליליים נראית כך:

ה-AUC הוא השטח של האזור האפור באיור שלמעלה. במקרה החריג הזה, השטח הוא פשוט אורך האזור האפור (1.0) כפול רוחב האזור האפור (1.0). לכן, המכפלה של 1.0 ו-1.0 היא 1.0 בדיוק, שהוא הציון הכי גבוה שאפשר לקבל ב-AUC.

לעומת זאת, עקומת ה-ROC של מודל סיווג שלא יכול להפריד בין מחלקות בכלל נראית כך. שטח האזור האפור הוא 0.5.

עקומת ROC אופיינית יותר נראית בערך כך:

חישוב השטח מתחת לעקומה הזו באופן ידני הוא תהליך מייגע, ולכן בדרך כלל תוכנה מחשבת את רוב ערכי ה-AUC.

---

אפשר ללחוץ על הסמל כדי לראות הגדרה רשמית יותר של AUC.

המדד AUC הוא ההסתברות שמודל סיווג יהיה בטוח יותר שדוגמה חיובית שנבחרה באופן אקראי היא באמת חיובית, מאשר שדוגמה שלילית שנבחרה באופן אקראי היא חיובית.

---

מידע נוסף זמין במאמר בנושא סיווג: ROC ו-AUC בקורס המקוצר על למידת מכונה.

מציאות רבודה

#image

טכנולוגיה שמציגה תמונה ממוחשבת על גבי תצוגת העולם האמיתי של המשתמש, וכך מספקת תצוגה מורכבת.

autoencoder

#language

#image

מערכת שלומדת לחלץ את המידע הכי חשוב מהקלט. אוטו-מקודדים הם שילוב של מקודד ומפענח. השימוש בקידוד אוטומטי מתבסס על התהליך הבא שכולל שני שלבים:

1. המקודד ממפה את הקלט לפורמט (ביניים) נמוך ממדים (בדרך כלל) עם אובדן נתונים.
2. הפענוח יוצר גרסה עם אובדן נתונים של הקלט המקורי על ידי מיפוי הפורמט עם פחות ממדים לפורמט הקלט המקורי עם יותר ממדים.

מכשירים אוטומטיים לאינקוד ודיקוד מאומנים מקצה לקצה, כך שהמפענח מנסה לשחזר את הקלט המקורי מהפורמט הביניים של המקודד בצורה הכי מדויקת שאפשר. מכיוון שהפורמט הביניים קטן יותר (ממדים נמוכים יותר) מהפורמט המקורי, האוטו-מקודד נאלץ ללמוד איזה מידע בקלט הוא חיוני, והפלט לא יהיה זהה לחלוטין לקלט.

לדוגמה:

• אם נתוני הקלט הם גרפיקה, העותק הלא מדויק יהיה דומה לגרפיקה המקורית, אבל עם שינויים מסוימים. יכול להיות שהעותק הלא מדויק מסיר רעשים מהגרפיקה המקורית או ממלא פיקסלים חסרים.
• אם נתוני הקלט הם טקסט, מקודד אוטומטי ייצור טקסט חדש שמחקה את הטקסט המקורי (אבל לא זהה לו).

אפשר לעיין גם במקודדים אוטומטיים וריאציוניים.

הערכה אוטומטית

#language

#generativeAI

שימוש בתוכנה כדי לשפוט את איכות הפלט של מודל.

כשהפלט של המודל פשוט יחסית, סקריפט או תוכנית יכולים להשוות את הפלט של המודל לתשובה מושלמת. הסוג הזה של הערכה אוטומטית נקרא לפעמים הערכה פרוגרמטית. מדדים כמו ROUGE או BLEU שימושיים לעיתים קרובות להערכה פרוגרמטית.

כשפלט המודל מורכב או אין תשובה נכונה אחת, לפעמים מתבצעת הערכה אוטומטית על ידי תוכנת ML נפרדת שנקראת בודק אוטומטי.

ההבדל בין זה לבין בדיקה אנושית.

הטיית אוטומציה

#responsible

מצב שבו מקבל החלטות אנושי מעדיף המלצות שנוצרו על ידי מערכת אוטומטית לקבלת החלטות על פני מידע שנוצר ללא אוטומציה, גם אם המערכת האוטומטית לקבלת החלטות מבצעת טעויות.

מידע נוסף זמין במאמר הוגנות: סוגי הטיה בסדנת מבוא ללמידת מכונה.

AutoML

כל תהליך אוטומטי ליצירת מודלים של למידת מכונה. ‫AutoML יכול לבצע באופן אוטומטי משימות כמו:

• מחפשים את המודל המתאים ביותר.
• כוונון היפר-פרמטרים.
• הכנת הנתונים (כולל ביצוע הנדסת תכונות).
• פורסים את המודל שנוצר.

‫AutoML שימושי למדעני נתונים כי הוא יכול לחסוך להם זמן ומאמץ בפיתוח צינורות עיבוד נתונים ללמידת מכונה ולשפר את דיוק החיזוי. הוא גם שימושי למי שאינם מומחים, כי הוא מאפשר להם לגשת למשימות מורכבות של למידת מכונה.

מידע נוסף זמין במאמר Automated Machine Learning (AutoML) (למידת מכונה אוטומטית) בקורס המקוצר על למידת מכונה.

הערכה של כלי לדירוג אוטומטי

#language

#generativeAI

מנגנון היברידי להערכת האיכות של הפלט של מודל AI גנרטיבי, שמשלב הערכה אנושית עם הערכה אוטומטית. בודק אוטומטי הוא מודל למידת מכונה שאומן על נתונים שנוצרו על ידי הערכה אנושית. באופן אידיאלי, מערכת הסיווג האוטומטית לומדת לחקות בודק אנושי.

יש מערכות מוכנות מראש למתן ציונים אוטומטיים, אבל המערכות הכי טובות הן אלה שעברו כוונון עדין במיוחד למשימה שאתם מעריכים.

הערה: תהליך ההפעלה של כלי לדירוג אוטומטי הוא אוטומטי לחלוטין. בני אדם מספקים רק נתונים שעוזרים לאמן את הכלי לדירוג אוטומטי.

מודל אוטו-רגרסיבי

#language

#image

#generativeAI

מודל שמסיק חיזוי על סמך החיזויים הקודמים שלו. לדוגמה, מודלים אוטומטיים של שפה חוזים את הטוקן הבא על סמך הטוקנים שנחזו קודם. כל המודלים הגדולים של שפה שמבוססים על Transformer הם אוטורגרסיביים.

לעומת זאת, מודלים של תמונות שמבוססים על GAN בדרך כלל לא רגרסיביים אוטומטיים, כי הם יוצרים תמונה במעבר קדימה יחיד ולא באופן איטרטיבי בשלבים. עם זאת, יש מודלים מסוימים ליצירת תמונות שהם אוטומטיים רגרסיביים כי הם יוצרים תמונה בשלבים.

הפסד משני

פונקציית הפסד – משמשת בשילוב עם פונקציית ההפסד הראשית של מודל רשת נוירונים, ומסייעת להאיץ את האימון במהלך האיטרציות הראשונות, כשמשקלים מאותחלים באופן אקראי.

פונקציות הפסד עזר דוחפות גרדיאנטים יעילים אל השכבות הקודמות. הפעולה הזו מקלה על התכנסות במהלך האימון, כי היא עוזרת להתמודד עם בעיית הגרדיאנט הנעלם.

דיוק ממוצע ב-k

#language

#Metric

מדד לסיכום הביצועים של מודל בהנחיה יחידה שמפיקה תוצאות מדורגות, כמו רשימה ממוספרת של המלצות לספרים. הדיוק הממוצע ב-k הוא, ובכן, הממוצע של ערכי הדיוק ב-k לכל תוצאה רלוונטית. לכן הנוסחה לחישוב הדיוק הממוצע ב-k היא:

\[{\text{average precision at k}} = \frac{1}{n} \sum_{i=1}^n {\text{precision at k for each relevant item} } \]

where:‎

• ‫\(n\) הוא מספר הפריטים הרלוונטיים ברשימה.

השוואה לrecall ב-k.

הערה: המדד 'דיוק ממוצע ב-k' מעריך את הפלט של הנחיה אחת. משתמשים בדיוק ממוצע ב-k כדי להעריך את האיכות של הפלט של מודל בהנחיות שונות.

הערה: יש אנשים שמקצרים את המונח דיוק ממוצע ב-k לדיוק ממוצע.

לוחצים על הסמל כדי לראות דוגמה

נניח שמודל שפה גדול מקבל את השאילתה הבאה:

List the 6 funniest movies of all time in order.

מודל השפה הגדול מחזיר את הרשימה הבאה:

1. הגנרל
2. Mean Girls
3. Platoon
4. שושבינות
5. האזרח קיין
6. This is Spinal Tap

ארבעה מהסרטים ברשימה שהוחזרה הם מאוד מצחיקים (כלומר, הם רלוונטיים), אבל שני סרטים הם דרמות (לא רלוונטיים). בטבלה הבאה מפורטות התוצאות:

מיקום	סרט	רלוונטי?	Precision at k
1	הגנרל	כן	1.0
2	Mean Girls	כן	1.0
3	Platoon	לא	לא רלוונטי
4	שושבינות	כן	0.75
5	האזרח קיין	לא	לא רלוונטי
6	This is Spinal Tap	כן	0.67

מספר התוצאות הרלוונטיות הוא 4. לכן, אפשר לחשב את הדיוק הממוצע ב-6 באופן הבא:

$${\text{average precision at 6}} = \frac{1}{4} {\text{(1.0 + 1.0 + 0.75 + 0.67)} } $$ $${\text{average precision at 6}} = {\text{~0.85} } $$

---

תנאי שמתייחס לציר

#df

בעץ החלטה, תנאי שכולל רק תכונה אחת. לדוגמה, אם area הוא מאפיין, אז התנאי הבא הוא תנאי שמתיישר עם הציר:

area > 200

השוואה למצב אלכסוני.

B

backpropagation

#fundamentals

האלגוריתם שמיישם ירידת גרדיאנט ברשתות נוירונים.

אימון של רשת נוירונים כולל הרבה איטרציות של המחזור הבא בן שני השלבים:

1. במהלך המעבר קדימה, המערכת מעבדת אצווה של דוגמאות כדי להפיק חיזויים. המערכת משווה כל תחזית לכל ערך של תווית. ההפרש בין התחזית לבין ערך התווית הוא ההפסד של הדוגמה הזו. המערכת מסכמת את ההפסדים של כל הדוגמאות כדי לחשב את ההפסד הכולל של האצווה הנוכחית.
2. במהלך המעבר לאחור (backpropagation), המערכת מצמצמת את אובדן המידע על ידי התאמת המשקלים של כל הנוירונים בכל השכבות הנסתרות.

רשתות עצביות מכילות לעיתים קרובות הרבה נוירונים בהרבה שכבות נסתרות. כל אחד מהנוירונים האלה תורם להפסד הכולל בדרכים שונות. האלגוריתם Backpropagation קובע אם להגדיל או להקטין את המשקלים שמוחלים על נוירונים מסוימים.

שיעור הלמידה הוא מכפיל שקובע את מידת ההגדלה או ההקטנה של כל משקל בכל מעבר לאחור. שיעור למידה גבוה יגדיל או יקטין כל משקל יותר משיעור למידה נמוך.

במונחים של חשבון דיפרנציאלי ואינטגרלי, backpropagation מיישם את כלל השרשרת. כלומר, בשיטת backpropagation מחושב הנגזרת החלקית של השגיאה ביחס לכל פרמטר.

לפני שנים, מומחים ל-ML היו צריכים לכתוב קוד כדי להטמיע backpropagation. ממשקי API מודרניים של למידת מכונה, כמו Keras, מטמיעים עכשיו בשבילכם את האלגוריתם backpropagation. סוף סוף!

מידע נוסף מופיע במאמר רשתות עצביות בקורס המקוצר על למידת מכונה.

bagging

#df

שיטה לאימון אנסמבל שבו כל מודל מרכיב מתאמן על קבוצת משנה אקראית של דוגמאות לאימון שנדגמו עם החזרה. לדוגמה, יער אקראי הוא אוסף של עצי החלטה שאומנו באמצעות שיטת ה-bagging.

המונח bagging הוא קיצור של bootstrap aggregating.

מידע נוסף זמין במאמר יערות אקראיים בקורס בנושא יערות החלטה.

bag of words

#language

ייצוג של המילים בביטוי או בקטע, ללא קשר לסדר. לדוגמה, bag of words מייצג את שלושת הביטויים הבאים באופן זהה:

• הכלב קופץ
• קופץ מעל הכלב
• כלב קופץ

כל מילה ממופה לאינדקס בוקטור דליל, שבו לכל מילה באוצר המילים יש אינדקס. לדוגמה, הביטוי the dog jumps ממופה לווקטור מאפיינים עם ערכים שונים מאפס בשלושת האינדקסים שמתאימים למילים the,‏ dog ו-jumps. הערך שאינו אפס יכול להיות כל אחת מהאפשרויות הבאות:

• ‫1 כדי לציין את נוכחות המילה.
• מספר הפעמים שמילה מופיעה בתיק. לדוגמה, אם הביטוי הוא the maroon dog is a dog with maroon fur, אז גם maroon וגם dog ייוצגו כ-2, בעוד שהמילים האחרות ייוצגו כ-1.
• ערך אחר, כמו הלוגריתם של מספר הפעמים שמילה מופיעה בתיק.

baseline

#Metric

מודל שמשמש כנקודת השוואה לביצועים של מודל אחר (בדרך כלל מודל מורכב יותר). לדוגמה, מודל רגרסיה לוגיסטית יכול לשמש כבסיס טוב למודל עמוק.

בבעיה מסוימת, קו הבסיס עוזר למפתחי מודלים לכמת את הביצועים המינימליים הצפויים שמודל חדש צריך להשיג כדי שהמודל החדש יהיה שימושי.

מודל בסיס

#language

#generativeAI

מודל שאומן מראש שיכול לשמש כנקודת התחלה לכוונון עדין כדי לטפל במשימות או באפליקציות ספציפיות.

מודל בסיס הוא מילה נרדפת למודל שעבר אימון מקדים ולמודל בסיס.

אצווה

#fundamentals

קבוצת הדוגמאות שמשמשת באיטרציה אחת של אימון. גודל האצווה קובע את מספר הדוגמאות באצווה.

בקטע epoch מוסבר איך קבוצת נתונים קשורה ל-epoch.

מידע נוסף זמין במאמר רגרסיה ליניארית: היפר-פרמטרים בקורס המקוצר על למידת מכונה.

היקש באצווה

#GoogleCloud

התהליך של הסקת תחזיות על כמה דוגמאות לא מסומנות שמחולקות לקבוצות משנה קטנות יותר ("אצוות").

הסקת מסקנות באצווה יכולה לנצל את תכונות ההקבלה של שבבי האצה. כלומר, כמה מאיצים יכולים להסיק תחזיות בו-זמנית על קבוצות שונות של דוגמאות לא מסומנות, וכך להגדיל באופן משמעותי את מספר ההסקות בשנייה.

מידע נוסף מופיע במאמר מערכות ML בייצור: הסקה סטטית לעומת הסקה דינמית בקורס המזורז ללמידת מכונה.

נורמליזציה של אצווה

נרמול של הקלט או הפלט של פונקציות ההפעלה בשכבה מוסתרת. לנורמליזציה של קבוצות יש כמה יתרונות:

• הגנה מפני משקלים של ערכים חריגים כדי להפוך את רשתות עצביות ליציבות יותר.
• הפעלת שיעורי למידה גבוהים יותר, שיכולים להאיץ את האימון.
• הפחתת התאמת יתר.

גודל אצווה

#fundamentals

מספר הדוגמאות באצווה. לדוגמה, אם גודל האצווה הוא 100, המודל מעבד 100 דוגמאות לכל איטרציה.

אלה כמה אסטרטגיות פופולריות לגודל של קבוצת פריטים:

• ‫Stochastic Gradient Descent (SGD), שבו גודל האצווה הוא 1.
• קבוצת נתונים מלאה, שבה גודל קבוצת הנתונים הוא מספר הדוגמאות בקבוצת האימון כולה. לדוגמה, אם קבוצת האימון מכילה מיליון דוגמאות, גודל האצווה יהיה מיליון דוגמאות. שיטה של עדכון כל הנתונים בבת אחת היא בדרך כלל לא יעילה.
• מיני-batch שבו גודל ה-batch הוא בדרך כלל בין 10 ל-1,000. בדרך כלל, אסטרטגיית המיני-batch היא היעילה ביותר.

מידע נוסף זמין במאמרים הבאים:

• מערכות ML לייצור: הסקה סטטית לעומת הסקה דינמית בקורס המקוצר על למידת מכונה.
• מדריך לשיפור הביצועים של למידה עמוקה.

רשת נוירונים בייסיאנית

רשת נוירונים הסתברותית שמתחשבת בחוסר ודאות במשקלים ובפלט. מודל רגרסיה של רשת נוירונים רגילה בדרך כלל מנבא ערך סקלרי. לדוגמה, מודל רגיל מנבא מחיר בית של 853,000. לעומת זאת, רשת נוירונים בייסיאנית חוזה התפלגות של ערכים. לדוגמה, מודל בייסיאני חוזה מחיר בית של 853,000 עם סטיית תקן של 67,200.

רשת נוירונים בייסיאנית מסתמכת על משפט בייס כדי לחשב את אי הוודאות במשקלים ובתחזיות. רשת עצבית בייסיאנית יכולה להיות שימושית כשחשוב לכמת את אי הוודאות, למשל במודלים שקשורים לתרופות. רשתות נוירונים בייסיאניות יכולות גם לעזור למנוע התאמת יתר.

אופטימיזציה בייסיאנית

טכניקה של מודל רגרסיה הסתברותי לאופטימיזציה של פונקציות מטרה יקרות מבחינת חישובית, על ידי אופטימיזציה של פונקציית סרוגייט שמבצעת כימות של אי-הוודאות באמצעות טכניקת למידה בייסיאנית. מכיוון שאופטימיזציה בייסיאנית היא תהליך יקר מאוד, בדרך כלל משתמשים בה כדי לבצע אופטימיזציה של משימות יקרות להערכה שיש להן מספר קטן של פרמטרים, כמו בחירה של היפר-פרמטרים.

משוואת בלמן

#rl

בלמידת חיזוק, הזהות הבאה מסופקת על ידי פונקציית ה-Q האופטימלית:

\[Q(s, a) = r(s, a) + \gamma \mathbb{E}_{s'|s,a} \max_{a'} Q(s', a')\]

אלגוריתמים של למידת חיזוק משתמשים בזהות הזו כדי ליצור למידת Q באמצעות כלל העדכון הבא:

\[Q(s,a) \gets Q(s,a) + \alpha \left[r(s,a) + \gamma \displaystyle\max_{\substack{a_1}} Q(s',a') - Q(s,a) \right] \]

מעבר ללמידת חיזוק, למשוואת בלמן יש יישומים בתכנות דינמי. אפשר לעיין ב ערך של משוואת בלמן ב-Wikipedia.

‫BERT (ייצוגים דו-כיווניים של מקודד מטרנספורמרים)

#language

ארכיטקטורת מודל לייצוג של טקסט. מודל BERT מאומן יכול לשמש כחלק ממודל גדול יותר לסיווג טקסט או למשימות אחרות של למידת מכונה.

ל-BERT יש את המאפיינים הבאים:

• משתמש בארכיטקטורת Transformer, ולכן מסתמך על self-attention.
• משתמש בחלק המקודד של הטרנספורמר. תפקיד המקודד הוא ליצור ייצוגים טובים של טקסט, ולא לבצע משימה ספציפית כמו סיווג.
• היא דו-כיוונית.
• משתמש במיסוך לאימון לא מפוקח.

הווריאציות של BERT כוללות:

• ‫ALBERT, שהוא ראשי תיבות של A Light BERT.
• ‫LaBSE.

במאמר Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language Processing מופיע סקירה כללית של BERT.

הטיה (אתיקה/הוגנות)

#responsible

#fundamentals

1. הצגת סטריאוטיפים, דעות קדומות או העדפה של דברים, אנשים או קבוצות מסוימים על פני אחרים. ההטיות האלה יכולות להשפיע על איסוף הנתונים ועל הפרשנות שלהם, על עיצוב המערכת ועל האופן שבו המשתמשים מבצעים אינטראקציה עם המערכת. דוגמאות להטיות מסוג זה:

• הטיית אוטומציה
• הטיית אישור
• הטיה של עורכי הניסוי
• הטיה בשיוך לקבוצה
• הטיה מרומזת
• הטיה לטובת קבוצת השייכות
• הטיה של הומוגניות בקבוצה החיצונית

2. שגיאה שיטתית שנובעת מהליך דגימה או דיווח. דוגמאות להטיות מסוג זה:

• הטיה בסיקור
• הטיית אי-תגובה
• הטיית השתתפות
• הטיית דיווח
• הטיית דגימה
• הטיית בחירה

לא להתבלבל עם מונח ההטיה במודלים של למידת מכונה או עם הטיה בתחזית.

מידע נוסף זמין במאמר הוגנות: סוגי הטיה בקורס המזורז ללימוד מכונת למידה.

הטיה (מתמטיקה) או מונח הטיה

#fundamentals

נקודת חיתוך או היסט מנקודת המוצא. הטיה היא פרמטר במודלים של למידת מכונה, שמסומל באחד מהערכים הבאים:

• b
• w₀

לדוגמה, הטיה היא b בנוסחה הבאה:

$$y' = b + w_1x_1 + w_2x_2 + … w_nx_n$$

בקו דו-ממדי פשוט, הטיה פשוט מייצגת את נקודת החיתוך עם ציר ה-y. לדוגמה, ההטיה של הקו באיור הבא היא 2.

ההטיה קיימת כי לא כל המודלים מתחילים מהמקור (0,0). לדוגמה, נניח שעלות הכניסה לפארק שעשועים היא 2 אירו, ועל כל שעה שהלקוח נמצא בפארק הוא משלם עוד 0.5 אירו. לכן, למודל שממפה את העלות הכוללת יש הטיה של 2 כי העלות הכי נמוכה היא 2 אירו.

הטיה לא זהה להטיה באתיקה ובהוגנות או להטיה בתחזיות.

מידע נוסף זמין במאמר רגרסיה ליניארית בקורס המקוצר על למידת מכונה.

דו-כיווני

#language

מונח שמשמש לתיאור מערכת שמעריכה את הטקסט שקודם לקטע טקסט יעד וגם את הטקסט שבא אחריו. לעומת זאת, מערכת חד-כיוונית מעריכה רק את הטקסט שקודם לקטע טקסט היעד.

לדוגמה, נניח שיש מודל שפה עם מיסוך שצריך לקבוע את ההסתברויות למילה או למילים שמיוצגות על ידי הקו התחתון בשאלה הבאה:

מה קרה לך?

מודל שפה חד-כיווני יצטרך לבסס את ההסתברויות שלו רק על ההקשר שנוצר מהמילים 'What',‏ 'is' ו-'the'. לעומת זאת, מודל שפה דו-כיווני יכול גם להסיק הקשר מהמילים 'עם' ו'אתה', מה שעשוי לעזור למודל ליצור חיזויים טובים יותר.

מודל שפה דו-כיווני

#language

מודל שפה שקובע את ההסתברות שאסימון נתון נמצא במיקום נתון בקטע טקסט, על סמך הטקסט הקודם והטקסט הבא.

ביגרמה

#seq

#language

N-gram שבו N=2.

סיווג בינארי

#fundamentals

סוג של משימת סיווג שבה המודל מנבא אחת משתי קטגוריות שאינן חופפות:

• הסיווג החיובי
• ה-negative class

לדוגמה, כל אחד משני המודלים הבאים של למידת מכונה מבצע סיווג בינארי:

• מודל שקובע אם הודעות אימייל הן ספאם (הסיווג החיובי) או לא ספאם (הסיווג השלילי).
• מודל שמעריך תסמינים רפואיים כדי לקבוע אם לאדם מסוים יש מחלה מסוימת (הסיווג החיובי) או שאין לו את המחלה הזו (הסיווג השלילי).

ההפך מסיווג רב-מחלקתי.

אפשר גם לעיין במאמרים בנושא רגרסיה לוגיסטית וסף סיווג.

מידע נוסף זמין במאמר סיווג בקורס המקוצר על למידת מכונה.

תנאי בינארי

#df

בעץ החלטה, תנאי שיש לו רק שתי תוצאות אפשריות, בדרך כלל כן או לא. לדוגמה, התנאי הבא הוא תנאי בינארי:

temperature >= 100

ההפך מתנאי לא בינארי.

מידע נוסף זמין במאמר סוגי תנאים בקורס בנושא יערות החלטה.

binning

מילה נרדפת ל-bucketing.

BLEU (Bilingual Evaluation Understudy)

#language

מדד בין 0.0 ל-1.0 להערכת תרגומים אוטומטיים, למשל מספרדית ליפנית.

כדי לחשב ציון, בדרך כלל BLEU משווה בין התרגום של מודל ML ‏(טקסט שנוצר) לבין התרגום של מומחה אנושי ‏(טקסט ייחוס). מידת ההתאמה בין N-grams בטקסט שנוצר לבין טקסט ההשוואה קובעת את ציון ה-BLEU.

המאמר המקורי בנושא המדד הזה הוא BLEU: a Method for Automatic Evaluation of Machine Translation.

אפשר לעיין גם בBLEURT.

‫BLEURT (Bilingual Evaluation Understudy from Transformers)

#language

מדד להערכת תרגומים אוטומטיים משפה אחת לשפה אחרת, במיוחד מאנגלית ואליה.

בתרגומים לאנגלית ומאנגלית, התוצאות של BLEURT קרובות יותר לדירוגים של בני אדם מאשר התוצאות של BLEU. בניגוד ל-BLEU, ‏ BLEURT מדגיש דמיון סמנטי (משמעות) ויכול להתאים לניסוח מחדש.

‫BLEURT מסתמך על מודל שפה גדול שעבר אימון מראש (BERT ליתר דיוק) שעובר כוונון עדין על טקסט שנוצר על ידי מתרגמים אנושיים.

המאמר המקורי על המדד הזה הוא BLEURT: Learning Robust Metrics for Text Generation.

הגדלה

טכניקה של למידת מכונה שמשלבת באופן איטרטיבי קבוצה של מסווגים פשוטים ולא מדויקים במיוחד (שנקראים מסווגים "חלשים") למסווג עם רמת דיוק גבוהה (מסווג "חזק") על ידי הגדלת המשקל של הדוגמאות שהמודל מסווג בצורה שגויה.

מידע נוסף זמין במאמר בנושא Gradient Boosted Decision Trees? בקורס בנושא Decision Forests.

תיבה תוחמת (bounding box)

#image

בתמונה, הקואורדינטות (x, y) של מלבן שמקיף אזור שמעניין אתכם, כמו הכלב בתמונה שלמטה.

שידור

הרחבת הצורה של אופרנד בפעולה מתמטית של מטריצה לממדים שתואמים לפעולה הזו. לדוגמה, באלגברה לינארית, שני האופרנדים בפעולת חיבור מטריצות צריכים להיות בעלי אותם ממדים. לכן, אי אפשר להוסיף מטריצה עם צורה (m, n) לווקטור באורך n. השידור מאפשר את הפעולה הזו על ידי הרחבה וירטואלית של הווקטור באורך n למטריצה בצורה (m, n) על ידי שכפול אותם ערכים בכל עמודה.

לוחצים על הסמל כדי לראות דוגמה.

בהינתן ההגדרות הבאות של A ו-B, אלגברה לינארית אוסרת על A+B כי ל-A ול-B יש ממדים שונים:

A = [[7, 10, 4],
     [13, 5, 9]]
B = [2]

עם זאת, שידור מאפשר את הפעולה A+B על ידי הרחבה וירטואלית של B ל:

 [[2, 2, 2],
  [2, 2, 2]]

לכן, הפעולה A+B תקפה עכשיו:

[[7, 10, 4],  +  [[2, 2, 2],  =  [[ 9, 12, 6],
 [13, 5, 9]]      [2, 2, 2]]      [15, 7, 11]]

---

פרטים נוספים מופיעים בתיאור הבא של שידור ב-NumPy.

bucketing

#fundamentals

המרת תכונה אחת לכמה תכונות בינאריות שנקראות buckets או bins, בדרך כלל על סמך טווח ערכים. התכונה שנחתכת היא בדרך כלל תכונה רציפה.

לדוגמה, במקום לייצג טמפרטורה כמאפיין יחיד של נקודה צפה רציפה, אפשר לחלק טווחי טמפרטורות למאגרי מידע נפרדים, כמו:

• ‫<= 10 degrees Celsius would be the "cold" bucket.
• ‫11 עד 24 מעלות צלזיוס יהיו בקטגוריה 'ממוזג'.
• ‫>= 25 degrees Celsius יהיה הדלי 'warm'.

המודל יתייחס לכל הערכים באותו סיווג באופן זהה. לדוגמה, הערכים 13 ו-22 נמצאים שניהם בדלי של אזורים ממוזגים, ולכן המודל מתייחס לשני הערכים בצורה זהה.

כדי לראות הערות נוספות, לוחצים על הסמל.

אם מייצגים את הטמפרטורה כמאפיין רציף, המודל מתייחס לטמפרטורה כמאפיין יחיד. אם מייצגים את הטמפרטורה באמצעות שלוש קטגוריות, המודל מתייחס לכל קטגוריה כאל תכונה נפרדת. כלומר, מודל יכול ללמוד קשרים נפרדים של כל קטגוריה לתווית. לדוגמה, מודל של רגרסיה לינארית יכול ללמוד משקלים נפרדים לכל קבוצת משנה.

הגדלת מספר הבאקטים מסבכת את המודל, כי היא מגדילה את מספר הקשרים שהמודל צריך ללמוד. לדוגמה, הקטגוריות 'קר', 'ממוזג' ו'חם' הן למעשה שלוש תכונות נפרדות שהמודל יכול להתאמן עליהן. אם תחליטו להוסיף עוד שני מאגרי נתונים – למשל, 'הקפאה' ו'חם' – המודל יצטרך להתאמן על חמישה מאפיינים נפרדים.

איך יודעים כמה קטגוריות ליצור, או מה צריך להיות טווח הערכים של כל קטגוריה? בדרך כלל צריך לבצע לא מעט ניסויים כדי לקבל תשובות.

---

מידע נוסף מופיע במאמר נתונים מספריים: חלוקה לקטגוריות בקורס המקוצר על למידת מכונה.

C

שכבת כיול

התאמה אחרי החיזוי, בדרך כלל כדי לפצות על הטיה בחיזוי. התחזיות וההסתברויות המותאמות צריכות להתאים להתפלגות של קבוצת תוויות שנצפתה.

יצירת מועמדים

#recsystems

קבוצת ההמלצות הראשונית שנבחרה על ידי מערכת המלצות. לדוגמה, נניח שיש חנות ספרים שמציעה 100,000 כותרים. בשלב יצירת המועמדים, המערכת יוצרת רשימה קטנה בהרבה של ספרים מתאימים למשתמש מסוים, למשל 500 ספרים. אבל גם 500 ספרים זה יותר מדי כדי להמליץ למשתמש. בשלבים הבאים והיקרים יותר של מערכת ההמלצות (כמו דירוג ודירוג מחדש), מספר ההמלצות מצטמצם לסט קטן יותר ושימושי יותר.

מידע נוסף זמין במאמר סקירה כללית על יצירת מועמדים בקורס בנושא מערכות המלצה.

דגימת מועמדים

אופטימיזציה בזמן האימון שמחשבת הסתברות לכל התוויות החיוביות, באמצעות, למשל, softmax, אבל רק עבור מדגם אקראי של תוויות שליליות. לדוגמה, אם יש לכם דוגמה עם התוויות beagle ו-dog, דגימת המועמדים מחשבת את ההסתברויות החזויות ואת מונחי ההפסד המתאימים עבור:

• beagle
• dog
• קבוצת משנה אקראית של שאר הסיווגים השליליים (לדוגמה, חתול,‏ סוכרייה על מקל, ‏ גדר).

הרעיון הוא שסיווגים שליליים יכולים ללמוד מחיזוק שלילי בתדירות נמוכה יותר, כל עוד סיווגים חיוביים תמיד מקבלים חיזוק חיובי מתאים. ואכן, זה מה שנצפה באופן אמפירי.

דגימת מועמדים יעילה יותר מבחינת חישובים מאלגוריתמים לאימון שמחשבים תחזיות עבור כל המחלקות השליליות, במיוחד כשמספר המחלקות השליליות גדול מאוד.

נתונים קטגוריים

#fundamentals

מאפיינים עם קבוצה ספציפית של ערכים אפשריים. לדוגמה, נניח שיש מאפיין קטגוריאלי בשם traffic-light-state, שיכול לקבל רק אחד משלושת הערכים האפשריים הבאים:

• red
• yellow
• green

אם מייצגים את traffic-light-state כמאפיין קטגוריאלי, מודל יכול ללמוד את ההשפעות השונות של red, green ו-yellow על התנהגות הנהג.

תכונות קטגוריות נקראות לפעמים תכונות בדידות.

ההפך מנתונים מספריים.

מידע נוסף זמין במאמר עבודה עם נתונים שמחולקים לקטגוריות בקורס המקוצר על למידת מכונה.

מודל שפה סיבתי

#language

מילה נרדפת למודל שפה חד-כיווני.

כדי להבין את ההבדלים בין גישות שונות של מודלים לשפה, אפשר לעיין במאמר בנושא מודל שפה דו-כיווני.

נקודת מרכז

#clustering

המרכז של אשכול שנקבע על ידי אלגוריתם k-means או k-median. לדוגמה, אם k הוא 3, האלגוריתם k-means או k-median מוצא 3 מרכזים.

מידע נוסף זמין במאמר אלגוריתמים של אשכולות בקורס בנושא אשכולות.

‫centroid-based clustering

#clustering

קטגוריה של אלגוריתמים של קיבוץ באשכולות שמארגנים נתונים באשכולות לא היררכיים. k-means הוא אלגוריתם הקיבוץ באשכולות הנפוץ ביותר שמבוסס על מרכז מסה.

בניגוד לאלגוריתמים של קיבוץ היררכי.

מידע נוסף זמין במאמר אלגוריתמים של אשכולות בקורס בנושא אשכולות.

הנחיות בטכניקת שרשרת מחשבה

#language

#generativeAI

טכניקה של הנדסת הנחיות שמעודדת מודל שפה גדול (LLM) להסביר את ההיגיון שלו, שלב אחר שלב. לדוגמה, שימו לב להנחיה הבאה, במיוחד למשפט השני:

כמה כוחות G יחווה נהג ברכב שמאיץ מ-0 ל-60 מייל לשעה ב-7 שניות? בתשובה, צריך להציג את כל החישובים הרלוונטיים.

התשובה של ה-LLM תהיה כנראה:

• תציג רצף של נוסחאות בפיזיקה, ותציב את הערכים 0, 60 ו-7 במקומות המתאימים.
• תסביר למה היא בחרה בנוסחאות האלה ומה המשמעות של המשתנים השונים.

הנחיה מסוג Chain-of-thought מאלצת את ה-LLM לבצע את כל החישובים, מה שעשוי להוביל לתשובה נכונה יותר. בנוסף, הנחיה מסוג chain-of-thought מאפשרת למשתמש לבדוק את השלבים של מודל ה-LLM כדי לקבוע אם התשובה הגיונית.

צ'אט, צ'ט, צאט, צט

#language

#generativeAI

התוכן של דיאלוג הלוך ושוב עם מערכת למידת מכונה, בדרך כלל מודל שפה גדול. האינטראקציה הקודמת בצ'אט (מה שהקלדתם ואיך מודל השפה הגדול הגיב) הופכת להקשר לחלקים הבאים של הצ'אט.

צ'אטבוט הוא יישום של מודל שפה גדול.

נקודת ביקורת

נתונים שמתעדים את המצב של הפרמטרים של מודל במהלך האימון או אחרי שהאימון מסתיים. לדוגמה, במהלך האימון, תוכלו:

1. הפסקת האימון, אולי בכוונה או אולי כתוצאה משגיאות מסוימות.
2. מצלמים את נקודת הביקורת.
3. בשלב מאוחר יותר, טוענים מחדש את נקודת הבדיקה, אולי בחומרה אחרת.
4. להתחיל מחדש את ההדרכה.

כיתה

#fundamentals

קטגוריה שתווית יכולה להשתייך אליה. לדוגמה:

• במודל סיווג בינארי שמזהה ספאם, שתי המחלקות יכולות להיות ספאם ולא ספאם.
• במודל סיווג רב-מחלקתי שמזהה גזעי כלבים, המחלקות יכולות להיות פודל, ביגל, פאג וכו'.

מודל סיווג חוזה את הסיווג. לעומת זאת, מודל רגרסיה חוזה מספר ולא סיווג.

מידע נוסף זמין במאמר סיווג בקורס המקוצר על למידת מכונה.

מודל סיווג

#fundamentals

מודל שהחיזוי שלו הוא סיווג. לדוגמה, כל אלה הם מודלים של סיווג:

• מודל שמנבא את השפה של משפט קלט (צרפתית? ספרדית? איטלקית?).
• מודל שמנבא את מיני העצים (אדר? אלון? באובב?).
• מודל שמנבא את הסיווג החיובי או השלילי של מצב רפואי מסוים.

לעומת זאת, מודלים של רגרסיה חוזים מספרים ולא סיווגים.

שני סוגים נפוצים של מודלים לסיווג הם:

• סיווג בינארי
• סיווג רב-מחלקתי

סף סיווג (classification threshold)

#fundamentals

בסיווג בינארי, מספר בין 0 ל-1 שממיר את הפלט הגולמי של מודל רגרסיה לוגיסטית לתחזית של הסיווג החיובי או של הסיווג השלילי. חשוב לזכור שסף הסיווג הוא ערך שאדם בוחר, ולא ערך שנבחר על ידי אימון המודל.

מודל רגרסיה לוגיסטית מחזיר ערך גולמי בין 0 ל-1. לאחר מכן:

• אם הערך הגולמי הזה גדול יותר מסף הסיווג, אז המערכת חוזה את הסיווג החיובי.
• אם הערך הגולמי הזה נמוך מסף הסיווג, המערכת מנבאת את הסיווג השלילי.

לדוגמה, נניח שסף הסיווג הוא 0.8. אם הערך הגולמי הוא 0.9, המודל חוזה את המחלקה החיובית. אם הערך הגולמי הוא 0.7, המודל חוזה את המחלקה השלילית.

הבחירה של סף הסיווג משפיעה מאוד על מספר התוצאות החיוביות הכוזבות והתוצאות השליליות הכוזבות.

כדי לראות הערות נוספות, לוחצים על הסמל.

כשהמודלים או מערכי הנתונים מתפתחים, לפעמים מהנדסים משנים גם את ערך הסף של הסיווג. כשסף הסיווג משתנה, חיזויים חיוביים של מחלקה יכולים להפוך פתאום למחלקות שליליות, ולהיפך.

לדוגמה, נניח שיש מודל בינארי לסיווג של חיזוי מחלות. נניח שבשנה הראשונה שבה המערכת פועלת:

• הערך הגולמי של מטופל מסוים הוא 0.95.
• סף הסיווג הוא 0.94.

לכן, המערכת מאבחנת את הכיתה החיובית. (המטופל נאנח, "אוי לא! I'm sick!")

שנה לאחר מכן, יכול להיות שהערכים ייראו כך:

• הערך הגולמי של אותו מטופל נשאר 0.95.
• סף הסיווג משתנה ל-0.97.

לכן, המערכת מסווגת מחדש את המטופל הזה כסיווג השלילי. ("יום שמח! I'm not sick.") אותו מטופל. אבחון שונה.

---

מידע נוסף זמין במאמר ערכי סף ומטריצת בלבול בקורס המקוצר על למידת מכונה.

מסווג

#fundamentals

מונח לא רשמי למודל סיווג.

קבוצת נתונים לא מאוזנת מבחינת כיתות

#fundamentals

מערך נתונים לבעיית סיווג שבה המספר הכולל של תוויות בכל מחלקה שונה באופן משמעותי. לדוגמה, נניח שיש מערך נתונים של סיווג בינארי עם שתי תוויות שמחולקות באופן הבא:

• ‫1,000,000 תוויות שליליות
• ‫10 תוויות חיוביות

היחס בין תוויות שליליות לחיוביות הוא 100,000 ל-1, ולכן זהו מערך נתונים עם חוסר איזון בין המחלקות.

לעומת זאת, מערך הנתונים הבא לא מאוזן כי היחס בין התוויות השליליות לתוויות החיוביות קרוב יחסית ל-1:

• ‫517 תוויות שליליות
• ‫483 תוויות חיוביות

יכול להיות גם חוסר איזון בין הכיתות במערכי נתונים עם כמה כיתות. לדוגמה, מערך הנתונים הבא של סיווג רב-מחלקתי הוא גם לא מאוזן מבחינת מחלקות, כי לתווית אחת יש הרבה יותר דוגמאות מאשר לשתי התוויות האחרות:

• ‫1,000,000 תוויות עם הסיווג 'ירוק'
• ‫200 תוויות עם המחלקה purple
• ‫350 תוויות עם המחלקה orange

אפשר לעיין גם בערכים אנטרופיה, מחלקת הרוב ומחלקת המיעוט.

חיתוך

#fundamentals

טכניקה לטיפול בערכים חריגים באמצעות אחת מהפעולות הבאות או שתיהן:

• הקטנת ערכי המאפיין שגדולים מסף מקסימלי מסוים עד לסף המקסימלי הזה.
• הגדלת ערכי התכונות שקטנים מסף מינימלי עד לסף המינימלי הזה.

לדוגמה, נניח שפחות מ-0.5% מהערכים של תכונה מסוימת נמצאים מחוץ לטווח 40-60. במקרה כזה, אפשר לבצע את הפעולות הבאות:

• כל הערכים מעל 60 (הסף המקסימלי) יקוצצו ל-60 בדיוק.
• כל הערכים שקטנים מ-40 (סף המינימום) יוגבלו ל-40 בדיוק.

ערכים חריגים עלולים לפגוע במודלים, ולפעמים לגרום למשקלים לגלוש במהלך האימון. חלק מהערכים החריגים יכולים גם לפגוע באופן משמעותי במדדים כמו דיוק. חיתוך הוא טכניקה נפוצה להגבלת הנזק.

חיתוך שיפועים מאלץ ערכי שיפוע בטווח מוגדר במהלך האימון.

מידע נוסף זמין במאמר נתונים מספריים: נורמליזציה בסדנה ללימוד מכונת למידה.

Cloud TPU

#TensorFlow

#GoogleCloud

מאיץ חומרה ייעודי שנועד להאיץ עומסי עבודה של למידת מכונה ב-Google Cloud.

סידור באשכולות

#clustering

קיבוץ של דוגמאות שקשורות זו לזו, במיוחד במהלך למידה לא מפוקחת. אחרי שכל הדוגמאות מקובצות, אפשר להוסיף משמעות לכל אשכול.

קיימים אלגוריתמים רבים לקיבוץ באשכולות. לדוגמה, האלגוריתם k-means מקבץ דוגמאות על סמך הקרבה שלהן למרכז מסה, כמו בתרשים הבא:

לאחר מכן, חוקר אנושי יכול לבדוק את האשכולות ולתת להם שמות. לדוגמה, הוא יכול לתת לאשכול 1 את השם 'עצים ננסיים' ולאשכול 2 את השם 'עצים בגודל מלא'.

דוגמה נוספת: אלגוריתם של אשכולות שמבוסס על המרחק של דוגמה מנקודת מרכז, כפי שמוצג באיור הבא:

מידע נוסף זמין בקורס בנושא אשכולות.

עיבוד משותף

התנהגות לא רצויה שבה נוירונים חוזים דפוסים בנתוני האימון על ידי הסתמכות כמעט בלעדית על הפלט של נוירונים ספציפיים אחרים, במקום להסתמך על ההתנהגות של הרשת כולה. אם הדפוסים שגורמים להתאמה משותפת לא מופיעים בנתוני האימות, ההתאמה המשותפת גורמת להתאמת יתר. רגולריזציה של נשירה מפחיתה את ההתאמה המשותפת כי הנשירה מבטיחה שהנוירונים לא יוכלו להסתמך רק על נוירונים ספציפיים אחרים.

סינון שיתופי

#recsystems

חיזוי תחומי העניין של משתמש מסוים על סמך תחומי העניין של משתמשים רבים אחרים. לרוב משתמשים בסינון שיתופי במערכות המלצות.

מידע נוסף זמין במאמר בנושא סינון שיתופי בקורס בנושא מערכות המלצה.

מודל קומפקטי

כל מודל קטן שמיועד להפעלה במכשירים קטנים עם משאבי מחשוב מוגבלים. לדוגמה, אפשר להפעיל מודלים קומפקטיים בטלפונים ניידים, בטאבלטים או במערכות מוטמעות.

מחשוב

(שם עצם) משאבי המחשוב שמשמשים מודל או מערכת, כמו כוח עיבוד, זיכרון ואחסון.

למידע על צ'יפים להאצת למידת מכונה

סחף קונספט

שינוי בקשר בין התכונות לבין התווית. עם הזמן, סחף מושגים מפחית את איכות המודל.

במהלך האימון, המודל לומד את הקשר בין התכונות לבין התוויות שלהן במערך האימון. אם התוויות במערך האימון הן פרוקסי טובים לעולם האמיתי, אז המודל צריך לספק תחזיות טובות לגבי העולם האמיתי. עם זאת, בגלל סחף מושגים, התחזיות של המודל נוטות להידרדר עם הזמן.

לדוגמה, נניח שיש מודל של סיווג בינארי שמנבא אם מודל רכב מסוים הוא 'חסכוני בדלק' או לא. כלומר, התכונות יכולות להיות:

• משקל הרכב
• דחיסה של מנוע
• סוג תיבת ההילוכים

כשהתווית היא:

• חסכוני בדלק
• לא חסכוני בדלק

עם זאת, ההגדרה של "מכונית חסכונית בדלק" משתנה כל הזמן. מודל של מכונית שסומן כחסכוני בדלק בשנת 1994, כמעט בוודאות יסומן כלא חסכוני בדלק בשנת 2024. מודל שסובל מסחף מושגים נוטה להפיק חיזויים פחות ופחות שימושיים לאורך זמן.

השוו והבדילו עם nonstationarity.

כדי לראות הערות נוספות, לוחצים על הסמל.

כדי לפצות על סחף המושגים, צריך לאמן מחדש את המודלים מהר יותר מקצב סחף המושגים. לדוגמה, אם סחף מושגים מפחית את הדיוק של המודל בשיעור משמעותי כל חודשיים, כדאי לאמן מחדש את המודל בתדירות גבוהה יותר מאשר כל חודשיים.

---

תנאי

#df

בעץ החלטות, כל צומת בעץ ההחלטות מכיל שני תנאים:

תנאי נקרא גם פיצול או בדיקה.

תנאי ניגודיות עם עלה.

ראה גם:

• binary condition
• non-binary condition.
• axis-aligned-condition
• oblique-condition

מידע נוסף זמין במאמר סוגי תנאים בקורס בנושא יערות החלטה.

המצאת סיפורים

#language

מילה נרדפת למונח הזיה.

יכול להיות שהמונח 'המצאת סיפורים' מדויק יותר מבחינה טכנית מהמונח 'הזיה'. עם זאת, ההזיה הפכה לפופולרית קודם.

הגדרות אישיות

התהליך של הקצאת ערכי המאפיינים הראשוניים שמשמשים לאימון מודל, כולל:

• השכבות שמרכיבות את המודל
• המיקום של הנתונים
• היפר-פרמטרים כמו:
  • קצב הלמידה
  • איטרציות
  • optimizer
  • פונקציית אובדן

בפרויקטים של למידת מכונה, אפשר לבצע את ההגדרה באמצעות קובץ הגדרה מיוחד או באמצעות ספריות הגדרה כמו אלה:

• HParam
• Gin
• Fiddle

הטיית אישור

#responsible

הנטייה לחפש מידע, לפרש אותו, להעדיף אותו ולזכור אותו באופן שמחזק את האמונות או ההשערות הקיימות של האדם. מפתחים של למידת מכונה עלולים לאסוף או לתייג נתונים בדרכים שמשפיעות על תוצאה שתומכת באמונות הקיימות שלהם. הטיית אישור היא סוג של הטיה מרומזת.

הטיית הנסיין היא סוג של הטיית אישור שבה הנסיין ממשיך לאמן מודלים עד שמאושרת השערה קיימת.

מטריצת בלבול

#fundamentals

טבלה בגודל NxN שמסכמת את מספר התחזיות הנכונות והלא נכונות שמודל סיווג יצר. לדוגמה, הנה מטריצת בלבול עבור מודל של סיווג בינארי:

	גידול (צפוי)	לא גידול (צפוי)
גידול (ערך סף)	‫18 (TP)	‫1 (FN)
Non-Tumor (ground truth)	‫6 (FP)	‫452 (TN)

מטריצת הבלבול שלמעלה מציגה את הנתונים הבאים:

• מתוך 19 התחזיות שבהן האמת הבסיסית הייתה Tumor, המודל סיווג 18 מהן בצורה נכונה ו-1 בצורה שגויה.
• מתוך 458 התחזיות שבהן האמת הבסיסית הייתה Non-Tumor, המודל סיווג 452 בצורה נכונה ו-6 בצורה שגויה.

מטריצת הבלבול של בעיית סיווג רב-מחלקתי יכולה לעזור לכם לזהות דפוסים של טעויות. לדוגמה, נניח שיש לנו מטריצת בלבול למודל סיווג רב-סוגי עם 3 סוגים, שמסווג 3 סוגים שונים של אירוסים (Virginica, ‏ Versicolor ו-Setosa). כשנתוני האמת היו Virginica, מטריצת השגיאות מראה שהמודל היה הרבה יותר סביר לטעות ולחזות Versicolor מאשר Setosa:

	Setosa (predicted)	Versicolor (צפוי)	Virginica (predicted)
Setosa (ערך סף)	88	12	0
Versicolor (ערך סף)	6	141	7
Virginica (ערכי סף)	2	27	109

דוגמה נוספת: מטריצת בלבול יכולה לחשוף שמודל שאומן לזיהוי ספרות בכתב יד נוטה לחזות בטעות 9 במקום 4, או לחזות בטעות 1 במקום 7.

מטריצות של טעויות סיווג מכילות מספיק מידע כדי לחשב מגוון מדדי ביצועים, כולל דיוק ורגישות.

ניתוח של מחוז בחירה

#language

חלוקת משפט למבנים דקדוקיים קטנים יותר ("רכיבים"). חלק מאוחר יותר במערכת למידת המכונה, כמו מודל של הבנת שפה טבעית, יכול לנתח את המרכיבים בקלות רבה יותר מאשר המשפט המקורי. לדוגמה, המשפט הבא:

החברה שלי אימצה שני חתולים.

מנתח מילים יכול לחלק את המשפט הזה לשני רכיבים:

• ‫My friend הוא צירוף שם עצם.
• ‫adopted two cats הוא צירוף פועל.

אפשר לחלק את המרכיבים האלה למרכיבים קטנים יותר. לדוגמה, צירוף הפועל

אימצתי שני חתולים

אפשר לחלק אותם עוד יותר לקטגוריות הבאות:

• adopted הוא פועל.
• two cats הוא עוד צירוף שם עצם.

הטמעת שפה בהתאם להקשר

#language

#generativeAI

הטמעה שמתקרבת ל'הבנה' של מילים וביטויים בדרכים שדוברי שפה שוטפת יכולים להבין. הטמעות שפה בהקשר יכולות להבין תחביר, סמנטיקה והקשר מורכבים.

לדוגמה, נבחן הטמעות של המילה האנגלית cow. הטמעות ישנות יותר, כמו word2vec, יכולות לייצג מילים באנגלית כך שהמרחק במרחב ההטמעה מ-cow (פרה) ל-bull (שור) דומה למרחק מ-ewe (כבשה) ל-ram (איל) או מ-female (נקבה) ל-male (זכר). הטמעות שפה לפי הקשר יכולות לזהות שדוברי אנגלית משתמשים לפעמים במילה cow (פרה) כדי להתייחס גם לפרה וגם לשור.

חלון ההקשר

#language

#generativeAI

מספר הטוקנים שמודל יכול לעבד בהנחיה נתונה. ככל שחלון ההקשר גדול יותר, המודל יכול להשתמש ביותר מידע כדי לספק תשובות עקביות וקוהרנטיות להנחיה.

תכונה רציפה

#fundamentals

תכונה של נקודה צפה עם טווח אינסופי של ערכים אפשריים, כמו טמפרטורה או משקל.

ההבדל בין התכונה הזו לבין תכונה נפרדת.

דגימת נוחות [ברבים: דגימות נוחוּת]

שימוש במערך נתונים שלא נאסף בצורה מדעית כדי להריץ ניסויים מהירים. בהמשך, חשוב לעבור למערך נתונים שנאסף באופן מדעי.

התכנסות

#fundamentals

מצב שמגיעים אליו כשערכי ההפסד משתנים מעט מאוד או לא משתנים בכלל בכל איטרציה. לדוגמה, מעקומת ההפסד הבאה אפשר לראות שההתכנסות מתרחשת בערך אחרי 700 איטרציות:

מודל מתכנס כשאימון נוסף לא ישפר אותו.

בלמידה עמוקה, ערכי ההפסד נשארים לפעמים קבועים או כמעט קבועים במשך הרבה איטרציות לפני שהם יורדים בסופו של דבר. במהלך תקופה ארוכה של ערכי הפסד קבועים, יכול להיות שתקבלו באופן זמני תחושה מוטעית של התכנסות.

מידע נוסף זמין במאמר בנושא עצירה מוקדמת.

מידע נוסף זמין במאמר Model convergence and loss curves (התכנסות מודלים ועקומות הפסד) בקורס המקוצר על למידת מכונה.

פונקציה קמורה

פונקציה שבה האזור שמעל הגרף של הפונקציה הוא קבוצה קמורה. פונקציה קמורה טיפוסית נראית כמו האות U. לדוגמה, הפונקציות הבאות הן פונקציות קמורות:

לעומת זאת, הפונקציה הבאה היא לא קמורה. שימו לב שהאזור שמעל הגרף הוא לא קבוצה קמורה:

לפונקציה קמורה לחלוטין יש בדיוק נקודת מינימום מקומית אחת, שהיא גם נקודת המינימום הגלובלית. הפונקציות הקלאסיות בצורת U הן פונקציות קמורות לחלוטין. עם זאת, חלק מהפונקציות הקמורות (למשל, קווים ישרים) לא בצורת U.

כדי לראות את החישובים, לוחצים על הסמל.

הרבה פונקציות אובדן נפוצות, כולל הפונקציות הבאות, הן פונקציות קמורות:

• L₂ loss
• Log Loss
• רגולריזציה מסוג _L1
• רגולריזציה של _L2

יש הרבה וריאציות של gradient descent שמבטיחות למצוא נקודה קרובה למינימום של פונקציה קמורה לחלוטין. באופן דומה, להרבה וריאציות של stochastic gradient descent יש סיכוי גבוה (אבל לא מובטח) למצוא נקודה קרובה למינימום של פונקציה קמורה לחלוטין.

סכום של שתי פונקציות קמורות (לדוגמה, הפסד L₂ + רגולריזציה L₁) הוא פונקציה קמורה.

מודלים עמוקים אף פעם לא פונקציות קמורות. באופן מפתיע, אלגוריתמים שנועדו לאופטימיזציה קמורה נוטים למצוא פתרונות טובים למדי ברשתות עמוקות, גם אם לא מובטח שהפתרונות האלה יהיו מינימום גלובלי.

---

מידע נוסף זמין במאמר התכנסות ופונקציות קמורות בקורס המזורז ללימוד מכונתית.

אופטימיזציה קמורה

התהליך של שימוש בטכניקות מתמטיות כמו ירידת גרדיאנט כדי למצוא את המינימום של פונקציה קמורה. חלק גדול מהמחקר בתחום למידת המכונה מתמקד בניסוח של בעיות שונות כבעיות אופטימיזציה קמורות, ובפתרון הבעיות האלה בצורה יעילה יותר.

פרטים מלאים זמינים בספר Convex Optimization של Boyd ו-Vandenberghe.

קבוצה קמורה

קבוצת משנה של מרחב אוקלידי, כך שקו שמחבר בין שתי נקודות בקבוצת המשנה נשאר כולו בתוך קבוצת המשנה. לדוגמה, שתי הצורות הבאות הן קבוצות קמורות:

לעומת זאת, שתי הצורות הבאות הן לא קבוצות קמורות:

קונבולוציה

#image

במתמטיקה, באופן לא רשמי, תערובת של שתי פונקציות. בלמידת מכונה, קונבולוציה משלבת את מסנן הקונבולוציה ואת מטריצת הקלט כדי לאמן משקלים.

המונח 'קונבולוציה' בלמידת מכונה הוא לרוב קיצור לפעולת קונבולוציה או לשכבת קונבולוציה.

ללא קונבולוציות, אלגוריתם של למידת מכונה יצטרך ללמוד משקל נפרד לכל תא בטנסור גדול. לדוגמה, אלגוריתם ללמידת מכונה שאומן על תמונות בגודל ‎2K x 2K ייאלץ למצוא 4 מיליון משקלים נפרדים. בזכות קונבולוציות, אלגוריתם של למידת מכונה צריך למצוא משקלים רק לכל תא במסנן הקונבולוציה, וכך מצטמצם באופן משמעותי הזיכרון שנדרש לאימון המודל. כשמחילים את המסנן הקונבולוציוני, הוא פשוט משוכפל בתאים כך שכל תא מוכפל במסנן.

מידע נוסף זמין במאמר היכרות עם רשתות עצביות קונבולוציוניות בקורס בנושא סיווג תמונות.

מסנן קונבולוציה

#image

אחד משני השחקנים בפעולת קונבולוציה. (השחקן השני הוא פרוסה של מטריצת קלט). מסנן קונבולוציה הוא מטריצה עם דרגה זהה למטריצת הקלט, אבל עם צורה קטנה יותר. לדוגמה, אם מטריצת הקלט היא 28x28, המסנן יכול להיות כל מטריצה דו-ממדית קטנה מ-28x28.

במניפולציה של תמונות, כל התאים במסנן קונבולוציה מוגדרים בדרך כלל לתבנית קבועה של אחדות ואפסים. בלמידה חישובית, מסנני קונבולוציה בדרך כלל מאותחלים עם מספרים אקראיים, ואז הרשת מתאמנת על הערכים האידיאליים.

מידע נוסף זמין במאמר בנושא קונבולוציה בקורס בנושא סיווג תמונות.

שכבת קונבולוציה

#image

שכבה של רשת נוירונים עמוקה שבה מסנן קונבולוציה מעביר מטריצת קלט. לדוגמה, נסתכל על מסנן קונבולוציה בגודל 3x3:

באנימציה הבאה מוצגת שכבת קונבולוציה שמורכבת מ-9 פעולות קונבולוציה שכוללות את מטריצת הקלט בגודל 5x5. שימו לב שכל פעולת קונבולוציה פועלת על פרוסת 3x3 שונה של מטריצת הקלט. מטריצת 3x3 שמתקבלת (משמאל) מורכבת מתוצאות של 9 פעולות קונבולוציה:

מידע נוסף זמין במאמר בנושא שכבות מקושרות באופן מלא בקורס בנושא סיווג תמונות.

רשת נוירונים קונבולוציונית

#image

רשת נוירונים מלאכותית שבה לפחות שכבה אחת היא שכבת קונבולוציה. רשת עצבית קונבולוציונית טיפוסית מורכבת משילוב כלשהו של השכבות הבאות:

• שכבות קונבולוציה
• שכבות איגום
• שכבות צפופות

רשתות נוירונים מלאכותיות (CNN) השיגו הצלחה רבה בפתרון בעיות מסוימות, כמו זיהוי תמונות.

פעולת קונבולוציה

#image

הפעולה המתמטית הבאה בת שני השלבים:

1. הכפלה של כל רכיב במסנן קונבולוציה עם רכיב תואם בפלח של מטריצת קלט. (לפרוסת מטריצת הקלט יש דרגה וגודל זהים לאלה של מסנן הקונבולוציה).
2. סכום כל הערכים במטריצת המוצרים שמתקבלת.

לדוגמה, מטריצת הקלט הבאה בגודל 5x5:

עכשיו נדמיין את מסנן הקונבולוציה הבא בגודל 2x2:

כל פעולת קונבולוציה כוללת פרוסה אחת בגודל 2x2 של מטריצת הקלט. לדוגמה, נניח שאנחנו משתמשים בפלח בגודל 2x2 בפינה הימנית העליונה של מטריצת הקלט. לכן, פעולת הקונבולוציה על הפרוסה הזו נראית כך:

שכבת קונבולוציה מורכבת מסדרה של פעולות קונבולוציה, שכל אחת מהן פועלת על פרוסה אחרת של מטריצת הקלט.

עלות

#Metric

מילה נרדפת להפסד.

אימון משותף

גישה של למידה מונחית למחצה, שימושית במיוחד כשכל התנאים הבאים מתקיימים:

• היחס בין דוגמאות לא מסומנות לבין דוגמאות מסומנות במערך הנתונים גבוה.
• זו בעיית סיווג (בינארי או רב-מחלקתי).
• מערך הנתונים מכיל שני סטים שונים של תכונות חיזוי, שהם בלתי תלויים ומשלימים.

באימון משותף, האותות העצמאיים מוגברים והופכים לאות חזק יותר. לדוגמה, נניח שיש מודל סיווג שמסווג מכוניות משומשות בודדות כטובות או כגרועות. קבוצה אחת של תכונות חיזויות עשויה להתמקד במאפיינים מצטברים כמו השנה, היצרן והדגם של המכונית. קבוצה אחרת של תכונות חיזויות עשויה להתמקד בתיעוד הנהיגה של הבעלים הקודם ובהיסטוריית התחזוקה של המכונית.

המאמר המרכזי בנושא אימון משותף הוא Combining Labeled and Unlabeled Data with Co-Training מאת Blum ו-Mitchell.

הוגנות קונטרה-פקטואלית

#responsible

#Metric

מדד הוגנות שבודק אם מודל סיווג מפיק את אותה התוצאה עבור אדם מסוים כמו עבור אדם אחר זהה, למעט מאפיינים רגישים. הערכה של מודל סיווג מבחינת הוגנות קונטרה-פקטואלית היא שיטה אחת לחשיפת מקורות פוטנציאליים של הטיה במודל.

מידע נוסף זמין במאמרים הבאים:

• הוגנות: הוגנות מנוגדת לעובדות בקורס המקוצר על למידת מכונה.
• When Worlds Collide: Integrating Different Counterfactual Assumptions in Fairness

הטיית כיסוי

#responsible

ראו הטיית בחירה.

crash blossom

#language

משפט או ביטוי עם משמעות לא ברורה. תופעת ה-crash blossoms יוצרת בעיה משמעותית בהבנת שפה טבעית. לדוגמה, הכותרת Red Tape Holds Up Skyscraper היא דוגמה ל-crash blossom כי מודל NLU יכול לפרש את הכותרת באופן מילולי או באופן פיגורטיבי.

כדי לראות הערות נוספות, לוחצים על הסמל.

רק כדי להבהיר את הכותרת המסתורית:

• המונח Red Tape יכול להתייחס לאחת מהאפשרויות הבאות:
  • חומר דביק
  • בירוקרטיה מוגזמת
• הערך Holds Up יכול להתייחס לאחת מהאפשרויות הבאות:
  • תמיכה מבנית
  • עיכובים

---

מבקר/ת

#rl

מילה נרדפת ל-Deep Q-Network.

אנטרופיה צולבת

#Metric

הכללה של Log Loss לבעיות סיווג מרובות מחלקות. האנטרופיה הצולבת מכמתת את ההבדל בין שתי התפלגויות הסתברות. מידע נוסף זמין במאמר בנושא perplexity.

אימות צולב

מנגנון להערכת מידת ההכללה של מודל לנתונים חדשים, על ידי בדיקת המודל מול קבוצות משנה של נתונים שלא חופפות זו לזו, שלא נכללו במערך האימון.

פונקציית התפלגות מצטברת (CDF)

#Metric

פונקציה שמגדירה את התדירות של דגימות שקטנות מערך יעד או שוות לו. לדוגמה, נניח שיש התפלגות נורמלית של ערכים רציפים. פונקציית CDF מראה שכ-50% מהדגימות צריכות להיות קטנות מהממוצע או שוות לו, וכ-84% מהדגימות צריכות להיות קטנות מהממוצע בסטיית תקן אחת או שוות לו.

D

ניתוח נתונים

הבנת הנתונים על ידי בחינת דוגמאות, מדידות והמחשה. ניתוח נתונים יכול להיות שימושי במיוחד כשמקבלים מערך נתונים בפעם הראשונה, לפני שיוצרים את המודל הראשון. הוא גם חשוב להבנת הניסויים ולניפוי באגים במערכת.

הגדלת מערך הנתונים

#image

הגדלה מלאכותית של טווח הדוגמאות ושל מספר הדוגמאות לאימון על ידי שינוי דוגמאות קיימות כדי ליצור דוגמאות נוספות. לדוגמה, נניח שתמונות הן אחת מהתכונות שלכם, אבל מערך הנתונים לא מכיל מספיק דוגמאות של תמונות כדי שהמודל יוכל ללמוד שיוכים שימושיים. מומלץ להוסיף למערך הנתונים מספיק תמונות מתויגות כדי לאפשר אימון תקין של המודל. אם זה לא אפשרי, אפשר להשתמש בהגדלת מערך הנתונים כדי לסובב, למתוח ולשקף כל תמונה וליצור הרבה וריאציות של התמונה המקורית. יכול להיות שזה יניב מספיק נתונים מתויגים כדי לאפשר אימון מצוין.

DataFrame

#fundamentals

סוג נתונים פופולרי של pandas לייצוג מערכי נתונים בזיכרון.

‫DataFrame דומה לטבלה או לגיליון אלקטרוני. לכל עמודה ב-DataFrame יש שם (כותרת), ולכל שורה יש מספר ייחודי.

כל עמודה ב-DataFrame בנויה כמו מערך דו-ממדי, אבל לכל עמודה אפשר להקצות סוג נתונים משלה.

אפשר לעיין גם בדף העיון הרשמי של pandas.DataFrame.

מקביליות נתונים

שיטה להרחבת אימון או הסקת מסקנות שמשכפלת מודל שלם למספר מכשירים, ואז מעבירה קבוצת משנה של נתוני הקלט לכל מכשיר. מקביליות נתונים יכולה לאפשר אימון והסקת מסקנות על גדלים גדולים מאוד של אצווה. עם זאת, מקביליות נתונים מחייבת שהמודל יהיה קטן מספיק כדי להתאים לכל המכשירים.

בדרך כלל, מקביליות נתונים מזרזת את האימון וההסקה.

מידע נוסף זמין במאמר בנושא מקביליות של מודלים.

‫Dataset API ‏ (tf.data)

#TensorFlow

‫API ברמה גבוהה של TensorFlow לקריאת נתונים ולהמרה שלהם לפורמט שנדרש לאלגוריתם של למידת מכונה. אובייקט tf.data.Dataset מייצג רצף של רכיבים, שכל אחד מהם מכיל טנסור אחד או יותר. אובייקט tf.data.Iterator מספק גישה לרכיבים של Dataset.

קבוצת נתונים

#fundamentals

אוסף של נתונים גולמיים, בדרך כלל (אבל לא רק) בפורמט הבא:

• גיליון אלקטרוני
• קובץ בפורמט CSV (ערכים מופרדים בפסיקים)

גבול ההחלטה

הקו שמפריד בין המחלקות שנלמדו על ידי מודל בסיווג בינארי או בבעיות סיווג מרובות מחלקות. לדוגמה, בתמונה הבאה שמייצגת בעיית סיווג בינארית, גבול ההחלטה הוא הגבול בין המחלקה הכתומה למחלקה הכחולה:

יער החלטות

#df

מודל שנוצר מכמה עצי החלטות. כדי לבצע חיזוי, יער החלטות צובר את החיזויים של עצי ההחלטות שלו. סוגים פופולריים של יערות החלטה כוללים יערות אקראיים ועצים עם שיפור גרדיאנט.

מידע נוסף זמין בקטע יערות של החלטות בקורס בנושא יערות של החלטות.

סף ההחלטה

מילה נרדפת לסף סיווג.

עץ החלטה

#df

מודל של למידה מונחית שמורכב מקבוצה של תנאים וצמתים מסוג עלה שמאורגנים בהיררכיה. לדוגמה, זהו עץ החלטות:

מפענח

#language

באופן כללי, כל מערכת ML שמבצעת המרה מייצוג מעובד, צפוף או פנימי לייצוג גולמי, דליל או חיצוני יותר.

מפענחים הם לרוב רכיב של מודל גדול יותר, ולעתים קרובות הם משולבים עם מקודד.

במשימות של רצף לרצף, מפענח מתחיל עם המצב הפנימי שנוצר על ידי המקודד כדי לחזות את הרצף הבא.

הגדרה של מפענח בארכיטקטורת טרנספורמר מופיעה במאמר בנושא טרנספורמר.

מידע נוסף זמין במאמר מודלים גדולים של שפה בקורס Machine Learning Crash Course.

מודל עמוק

#fundamentals

רשת נוירונים שמכילה יותר משכבה נסתרת.

מודל עמוק נקרא גם רשת נוירונים עמוקה.

ההפך ממודל רחב.

של רשת עצבית עמוקה

מילה נרדפת למודל עמוק.

רשת Q עמוקה (DQN)

#rl

ב-Q-learning, נעשה שימוש ברשת עצבית עמוקה כדי לחזות פונקציות Q.

Critic הוא מילה נרדפת ל-Deep Q-Network.

שוויון דמוגרפי

#responsible

#Metric

מדד הוגנות שמתקיים אם תוצאות הסיווג של מודל לא תלויות במאפיין רגיש נתון.

לדוגמה, אם גם אנשים מליליפוט וגם אנשים מברובדינגנאג מגישים בקשה להתקבל לאוניברסיטת גלובדובדריב, שוויון דמוגרפי מושג אם אחוז האנשים מליליפוט שמתקבלים זהה לאחוז האנשים מברובדינגנאג שמתקבלים, ללא קשר לשאלה אם קבוצה אחת מוסמכת יותר מהשנייה בממוצע.

ההגדרה הזו שונה מהשוואת סיכויי ההצלחה והשוואת ההזדמנויות, שמאפשרות לתוצאות הסיווג הכוללות להיות תלויות במאפיינים רגישים, אבל לא מאפשרות לתוצאות הסיווג של תוויות אמת בסיסית מסוימות להיות תלויות במאפיינים רגישים. במאמר "Attacking discrimination with smarter machine learning" (התמודדות עם אפליה באמצעות למידת מכונה חכמה יותר) מוצג תרשים שממחיש את היתרונות והחסרונות של אופטימיזציה להשגת שוויון דמוגרפי.

מידע נוסף זמין במאמר הוגנות: שוויון דמוגרפי בקורס המקוצר על למידת מכונה.

הסרת רעשים

#language

גישה נפוצה ללמידה מונחית עצמית שבה:

1. רעש מתווסף באופן מלאכותי למערך הנתונים.
2. המודל מנסה להסיר את הרעש.

הסרת רעשים מאפשרת למידה מדוגמאות לא מסומנות. מערך הנתונים המקורי משמש כיעד או כתווית, והנתונים עם הרעש משמשים כקלט.

חלק ממודלים של שפה עם מיסוך משתמשים בהסרת רעשים באופן הבא:

1. רעש מתווסף באופן מלאכותי למשפט ללא תווית על ידי מיסוך של חלק מהטוקנים.
2. המודל מנסה לחזות את הטוקנים המקוריים.

תכונה צפופה

#fundamentals

תכונה שרוב הערכים שלה או כולם הם לא אפס, בדרך כלל Tensor של ערכים מסוג נקודה צפה. לדוגמה, טנסור 10-אלמנטים הבא הוא צפוף כי 9 מהערכים שלו הם לא אפס:

8

3

7

5

2

4

0

4

9

6

ההפך מsparse feature.

שכבה צפופה

מילה נרדפת לשכבה מקושרת באופן מלא.

עומק

#fundamentals

הסכום של הרכיבים הבאים ברשת נוירונים:

• מספר השכבות הנסתרות
• מספר שכבות הפלט, שבדרך כלל הוא 1
• מספר שכבות ההטמעה

לדוגמה, רשת עצבית עם חמש שכבות מוסתרות ושכבת פלט אחת היא בעומק 6.

שימו לב ששכבת הקלט לא משפיעה על העומק.

רשת נוירונים מלאכותית (CNN) עם קונבולוציה נפרדת לפי עומק (sepCNN)

#image

ארכיטקטורה של רשת עצבית מורכבת שמבוססת על Inception, אבל מודולי Inception מוחלפים בה ב-convolutions שניתנים להפרדה לפי עומק. נקרא גם Xception.

קונבולוציה ניתנת להפרדה לפי עומק (שנקראת גם קונבולוציה ניתנת להפרדה) מפרקת קונבולוציה תלת-ממדית רגילה לשתי פעולות קונבולוציה נפרדות שהן יעילות יותר מבחינת חישוב: קודם, קונבולוציה לפי עומק, עם עומק של 1 (n ✕ n ✕ 1), ואז, קונבולוציה לפי נקודה, עם אורך ורוחב של 1 (1 ✕ 1 ✕ n).

מידע נוסף זמין במאמר Xception: Deep Learning with Depthwise Separable Convolutions.

תווית נגזרת

מילה נרדפת ל-תווית proxy.

מכשיר

#TensorFlow

#GoogleCloud

מונח עם עומס יתר, שיש לו שתי הגדרות אפשריות:

1. קטגוריה של חומרה שיכולה להריץ סשן של TensorFlow, כולל מעבדי CPU, מעבדי GPU ומעבדי TPU.
2. כשמבצעים אימון של מודל ML על שבבי האצה (GPU או TPU), החלק במערכת שמבצע בפועל מניפולציה של טנסורים ושל הטבעות. המכשיר פועל על שבבי האצה. לעומת זאת, המארח פועל בדרך כלל על מעבד מרכזי.

פרטיות דיפרנציאלית

במידת מכונה, גישה לאנונימיזציה שמטרתה להגן על נתונים רגישים (לדוגמה, מידע אישי של אדם מסוים) שנכללים במערך האימונים של מודל מפני חשיפה. הגישה הזו מבטיחה שהמודל לא ילמד או יזכור הרבה על אדם ספציפי. ההגנה הזו מושגת באמצעות דגימה והוספת רעש במהלך אימון המודל, כדי להסתיר נקודות נתונים ספציפיות ולצמצם את הסיכון לחשיפת נתוני אימון רגישים.

פרטיות דיפרנציאלית משמשת גם מחוץ ללמידת מכונה. לדוגמה, מדעני נתונים משתמשים לפעמים בפרטיות דיפרנציאלית כדי להגן על הפרטיות של כל אחד מהמשתמשים כשהם מחשבים נתונים סטטיסטיים על השימוש במוצר עבור מאפיינים דמוגרפיים שונים.

הפחתת ממדים

הקטנת מספר המאפיינים שמשמשים לייצוג תכונה מסוימת בווקטור תכונות, בדרך כלל על ידי המרה לווקטור הטמעה.

מימדים

מונח בעל עומס יתר עם אחת מההגדרות הבאות:

• מספר הרמות של הקואורדינטות בTensor. לדוגמה:

  • לסקלר יש אפס מימדים. לדוגמה: ["Hello"].
  • לווקטור יש מימד אחד, לדוגמה, [3, 5, 7, 11].
  • למטריצה יש שני מאפיינים, לדוגמה: [[2, 4, 18], [5, 7, 14]]. אפשר לציין באופן ייחודי תא מסוים בווקטור חד-ממדי באמצעות קואורדינטה אחת, אבל צריך שתי קואורדינטות כדי לציין באופן ייחודי תא מסוים במטריצה דו-ממדית.

• מספר הרשומות בוקטור מאפיינים.

• מספר האלמנטים בשכבת ההטמעה.

הנחיות ישירות

#language

#generativeAI

מילה נרדפת להנחיה ישירה (Zero-shot).

תכונה נפרדת

#fundamentals

תכונה עם קבוצה סופית של ערכים אפשריים. לדוגמה, מאפיין שהערכים שלו יכולים להיות רק animal (בעל חיים), vegetable (ירק) או mineral (מינרל) הוא מאפיין בדיד (או קטגורי).

ההפך מתכונה מתמשכת.

מודל דיסקרימינטיבי

מודל שמנבא תוויות מתוך קבוצה של תכונות אחת או יותר. באופן רשמי יותר, מודלים דיסקרימינטיביים מגדירים את ההסתברות המותנית של פלט בהינתן התכונות והמשקלים, כלומר:

p(output | features, weights)

לדוגמה, מודל שמנבא אם אימייל הוא ספאם על סמך תכונות ומשקלים הוא מודל מבדל.

רוב המודלים של למידה מונחית, כולל מודלים של סיווג ורגרסיה, הם מודלים דיסקרימינטיביים.

ההגדרה הזו שונה ממודל גנרטיבי.

דיסקרימינטור

מערכת שקובעת אם הדוגמאות הן אמיתיות או מזויפות.

לחלופין, מערכת המשנה בתוך רשת גנרטיבית יריבה שקובעת אם הדוגמאות שנוצרו על ידי הגנרטור הן אמיתיות או מזויפות.

מידע נוסף זמין במאמר בנושא המסווג בקורס GAN.

השפעה מפלה

#responsible

קבלת החלטות לגבי אנשים שמשפיעות באופן לא פרופורציונלי על קבוצות משנה שונות באוכלוסייה. בדרך כלל מדובר במצבים שבהם תהליך אלגוריתמי של קבלת החלטות פוגע בחלק מקבוצות המשנה יותר מאשר באחרות, או מועיל לחלק מקבוצות המשנה יותר מאשר לאחרות.

לדוגמה, נניח שיש אלגוריתם שקובע אם אדם זכאי להלוואה לרכישת בית זעיר. סביר יותר שהאלגוריתם יסווג את האדם כ'לא זכאי' אם כתובת הדואר שלו מכילה מיקוד מסוים. אם לתושבי ליליפוט שמשתמשים בשיטת Big-Endian יש סיכוי גבוה יותר להשתמש בכתובות למשלוח עם המיקוד הזה מאשר לתושבי ליליפוט שמשתמשים בשיטת Little-Endian, יכול להיות שהאלגוריתם הזה יוביל להשפעה לא פרופורציונלית.

ההגדרה הזו שונה מיחס מפלה, שמתמקדת בפערים שנוצרים כשמאפיינים של קבוצות משנה הם קלט מפורש לתהליך קבלת החלטות אלגוריתמי.

יחס שונה

#responsible

הכללת מאפיינים רגישים של נושאים בתהליך קבלת החלטות אלגוריתמי, כך שקבוצות משנה שונות של אנשים מקבלות יחס שונה.

לדוגמה, נניח שיש אלגוריתם שקובע אם תושבי ליליפוט זכאים להלוואה לרכישת בית מיניאטורי על סמך הנתונים שהם מספקים בבקשת ההלוואה. אם האלגוריתם משתמש בהשתייכות של תושב ליליפוט כ-Big-Endian או כ-Little-Endian כקלט, הוא מבצע אפליה לאורך הממד הזה.

בניגוד להשפעה לא פרופורציונלית, שמתמקדת בפערים בהשפעות החברתיות של החלטות אלגוריתמיות על קבוצות משנה, ללא קשר לשאלה אם קבוצות המשנה האלה הן נתוני קלט למודל.

אזהרה: מאפיינים רגישים כמעט תמיד קשורים לתכונות אחרות בנתונים, ולכן הסרה מפורשת של מידע על מאפיינים רגישים לא מבטיחה שקבוצות משנה יקבלו יחס שווה. לדוגמה, הסרה של מאפיינים דמוגרפיים רגישים ממערך נתונים לאימון, שעדיין כולל את המיקוד כתכונה, עשויה לפתור את הבעיה של אפליה בין קבוצות משנה. עם זאת, עדיין יכולה להיות השפעה מפלה על הקבוצות האלה, כי המיקוד עשוי לשמש כפרוקסי למידע דמוגרפי אחר.

זיקוק

#generativeAI

תהליך של הקטנת מודל (שנקרא מורה) למודל קטן יותר (שנקרא תלמיד) שמדמה את התחזיות של המודל המקורי בצורה נאמנה ככל האפשר. זיקוק מועיל כי למודל הקטן יש שני יתרונות מרכזיים על פני המודל הגדול יותר (המודל המלמד):

• זמן הסקת מסקנות מהיר יותר
• צריכת זיכרון ואנרגיה מופחתת

עם זאת, בדרך כלל התחזיות של התלמידים לא טובות כמו התחזיות של המורים.

בזיקוק, המודל התלמיד עובר אימון כדי למזער פונקציית הפסד על סמך ההבדל בין התוצאות של התחזיות של מודלי התלמיד והמורה.

השוו והבדילו בין זיקוק לבין המונחים הבאים:

• כוונון עדין
• למידה מבוססת-הנחיות

מידע נוסף מופיע במאמר מודלים גדולים של שפה (LLM): כוונון עדין, זיקוק והנדסת הנחיות בקורס המקוצר על למידת מכונה.

distribution

התדירות והטווח של ערכים שונים עבור תכונה או תווית נתונים מסוימים. התפלגות מתעדת את הסבירות של ערך מסוים.

בתמונה הבאה מוצגים היסטוגרמות של שתי התפלגויות שונות:

• בצד ימין, התפלגות חוק החזקה של העושר לעומת מספר האנשים שמחזיקים בעושר הזה.
• משמאל, התפלגות נורמלית של הגובה לעומת מספר האנשים בגובה הזה.

הבנת ההתפלגות של כל תכונה ותווית יכולה לעזור לכם לקבוע איך לנרמל ערכים ולזהות ערכים חריגים.

הביטוי out of distribution מתייחס לערך שלא מופיע במערך הנתונים או שהוא נדיר מאוד. לדוגמה, תמונה של כוכב שבתאי תיחשב כחריגה מהתפלגות הנתונים במערך נתונים שמורכב מתמונות של חתולים.

חלוקה לאשכולות

#clustering

ראו אשכול היררכי.

דגימה ברזולוציה נמוכה

#image

מונח עמוס שיכול להתייחס לאחת מהאפשרויות הבאות:

• צמצום כמות המידע בתכונה כדי לאמן מודל בצורה יעילה יותר. לדוגמה, לפני אימון מודל לזיהוי תמונות, מבצעים דגימת חסר של תמונות ברזולוציה גבוהה לפורמט ברזולוציה נמוכה יותר.
• אימון על אחוז נמוך באופן לא פרופורציונלי של דוגמאות של סיווג שמוצגות יתר על המידה, כדי לשפר את אימון המודל על סיווגים שמוצגים פחות. לדוגמה, במערך נתונים עם חוסר איזון בין מחלקות, המודלים נוטים ללמוד הרבה על מחלקת הרוב ולא מספיק על מחלקת המיעוט. הפחתת דגימה עוזרת לאזן את כמות האימון של רוב המחלקות ומיעוט המחלקות.

מידע נוסף זמין במאמר מערכי נתונים: מערכי נתונים לא מאוזנים בקורס המקוצר על למידת מכונה.

DQN

#rl

קיצור של Deep Q-Network (רשת Q עמוקה).

רגולריזציה של ניתוק

סוג של רגולריזציה שמועיל באימון של רשתות נוירונים. רגולריזציה של נשירה מסירה בחירה אקראית של מספר קבוע של יחידות בשכבת רשת לשלב גרדיאנט יחיד. ככל שיותר יחידות מושמטות, כך הרגולריזציה חזקה יותר. זה דומה לאימון הרשת כדי לחקות אנסמבל גדול באופן אקספוננציאלי של רשתות קטנות יותר. פרטים מלאים זמינים במאמר Dropout: A Simple Way to Prevent Neural Networks from Overfitting.

דינמי

#fundamentals

משהו שעושים לעיתים קרובות או באופן רציף. המונחים דינמי ואונליין הם מילים נרדפות בתחום למידת המכונה. אלה שימושים נפוצים במונחים דינמי ואונליין בלמידת מכונה:

• מודל דינמי (או מודל אונליין) הוא מודל שעובר אימון מחדש לעיתים קרובות או באופן רציף.
• הדרכה דינמית (או הדרכה אונליין) היא תהליך של הדרכה בתדירות גבוהה או באופן רציף.
• הסקת מסקנות דינמית (או הסקת מסקנות אונליין) היא תהליך של יצירת תחזיות לפי דרישה.

מודל דינמי

#fundamentals

מודל שעובר אימון מחדש לעיתים קרובות (אולי אפילו באופן רציף). מודל דינמי הוא 'לומד לכל החיים' שמתאים את עצמו כל הזמן לנתונים משתנים. מודל דינמי נקרא גם מודל אונליין.

השוואה למודל סטטי.

E

הרצה מיידית

#TensorFlow

סביבת תכנות של TensorFlow שבה פעולות מופעלות באופן מיידי. לעומת זאת, פעולות שמופעלות בביצוע גרף לא מופעלות עד שהן מוערכות באופן מפורש. ביצוע מיידי הוא ממשק אימפרטיבי, בדומה לקוד ברוב שפות התכנות. בדרך כלל קל הרבה יותר לבצע ניפוי באגים בתוכניות של ביצוע Eager מאשר בתוכניות של ביצוע גרפים.

עצירה מוקדמת

#fundamentals

שיטה לרגולריזציה שכוללת סיום של אימון לפני שההפסד של האימון מפסיק לרדת. בשיטת העצירה המוקדמת, עוצרים בכוונה את אימון המודל כשההפסד במערך נתוני האימות מתחיל לעלות, כלומר כשביצועי ההכללה מתדרדרים.

כדי לראות הערות נוספות, לוחצים על הסמל.

יכול להיות שההפסקה המוקדמת תיראה לכם לא הגיונית. אחרי הכול, להורות למודל להפסיק את האימון בזמן שההפסד עדיין יורד זה כמו להגיד לשף להפסיק לבשל לפני שהקינוח נאפה לגמרי. עם זאת, אימון מודל למשך זמן ארוך מדי עלול להוביל להתאמת יתר. כלומר, אם מאמנים מודל יותר מדי זמן, יכול להיות שהמודל יתאים לנתוני האימון בצורה כל כך מדויקת שהוא לא יבצע חיזויים טובים לגבי דוגמאות חדשות.

---

ההפך מיציאה מוקדמת.

מרחק בין תמונות (EMD)

#Metric

מדד לדמיון היחסי בין שתי התפלגויות. ככל שהמרחק בין התמונות קטן יותר, כך ההתפלגויות דומות יותר.

מרחק עריכה

#language

#Metric

מדד של מידת הדמיון בין שתי מחרוזות טקסט. בלמידת מכונה, מרחק העריכה שימושי מהסיבות הבאות:

• קל לחשב את מרחק העריכה.
• מרחק העריכה יכול להשוות בין שתי מחרוזות שידוע שהן דומות זו לזו.
• מרחק העריכה יכול לקבוע את מידת הדמיון בין מחרוזות שונות למחרוזת נתונה.

יש כמה הגדרות של מרחק עריכה, וכל אחת מהן משתמשת בפעולות שונות על מחרוזות. דוגמה מופיעה במאמר בנושא מרחק לבנשטיין.

סימון איינשטיין

סימון יעיל לתיאור האופן שבו צריך לשלב בין שני טנסורים. הטנסורים משולבים על ידי הכפלת הרכיבים של טנסור אחד ברכיבים של הטנסור השני, ואז חישוב סכום המכפלות. בסימון איינסום משתמשים בסמלים כדי לזהות את הצירים של כל טנזור, ואותם סמלים מסודרים מחדש כדי לציין את הצורה של הטנזור החדש שמתקבל.

‫NumPy מספקת הטמעה נפוצה של Einsum.

שכבת הטמעה

#language

#fundamentals

שכבה נסתרת מיוחדת שעוברת אימון על מאפיין קטגורי עם הרבה ממדים, כדי ללמוד בהדרגה וקטור הטמעה עם פחות ממדים. שכבת הטמעה מאפשרת לרשת נוירונים להתאמן בצורה יעילה הרבה יותר מאשר אימון רק על תכונת סיווג רב-ממדית.

לדוגמה, נכון לעכשיו, Earth תומך בכ-73,000 מיני עצים. נניח שתכונה במודל היא מין העץ, ולכן שכבת הקלט של המודל כוללת וקטור one-hot באורך 73,000 אלמנטים. לדוגמה, יכול להיות שהתו baobab ייוצג כך:

מערך עם 73,000 רכיבים הוא ארוך מאוד. אם לא מוסיפים למודל שכבת הטמעה, האימון ייקח הרבה זמן כי צריך להכפיל 72,999 אפסים. יכול להיות שתבחרו ששכבת ההטמעה תכלול 12 מימדים. כתוצאה מכך, שכבת ההטמעה תלמד בהדרגה וקטור הטמעה חדש לכל מין של עץ.

במצבים מסוימים, גיבוב הוא חלופה סבירה לשכבת הטמעה.

מידע נוסף זמין במאמר Embeddings בקורס המקוצר על למידת מכונה.

מרחב הטמעה

#language

מרחב וקטורי d-ממדי שאליו ממופים מאפיינים ממרחב וקטורי רב-ממדי. מרחב ההטמעה מאומן לזיהוי מבנה שרלוונטי לאפליקציה המיועדת.

המכפלה הסקלרית של שני וקטורי הטמעה היא מדד לדמיון ביניהם.

וקטור הטמעה

#language

באופן כללי, מערך של מספרים ממשיים שמופיעים בכל שכבה נסתרת ומתארים את נתוני הקלט של אותה שכבה נסתרת. לרוב, וקטור הטמעה הוא מערך של מספרים ממשיים (float) שאומנו בשכבת הטמעה. לדוגמה, נניח ששכבת הטמעה צריכה ללמוד וקטור הטמעה לכל אחד מ-73,000 מיני העצים בכדור הארץ. יכול להיות שהמערך הבא הוא וקטור ההטמעה של עץ באובב:

וקטור הטמעה הוא לא אוסף של מספרים אקראיים. שכבת הטמעה קובעת את הערכים האלה באמצעות אימון, בדומה לאופן שבו רשת עצבית לומדת משקלים אחרים במהלך האימון. כל רכיב במערך הוא דירוג לפי מאפיין מסוים של מין העץ. איזה רכיב מייצג את המאפיין של איזה מין עץ? קשה מאוד לבני אדם לקבוע את זה.

החלק המדהים מבחינה מתמטית בווקטור הטמעה הוא שפריטים דומים מכילים קבוצות דומות של מספרים ממשיים. לדוגמה, קבוצה של מיני עצים דומים תניב קבוצה של מספרים ממשיים דומים יותר מאשר קבוצה של מיני עצים שונים. עצי סקוויה ועצי רדווד הם מינים קרובים של עצים, ולכן יהיה להם סט דומה יותר של מספרים עם נקודה צפה מאשר לעצי רדווד ולעצי קוקוס. המספרים בווקטור ההטמעה ישתנו בכל פעם שתאמנו מחדש את המודל, גם אם תאמנו אותו מחדש עם קלט זהה.

פונקציית התפלגות מצטברת אמפירית (eCDF או EDF)

#Metric

פונקציית התפלגות מצטברת שמבוססת על מדידות אמפיריות ממערך נתונים אמיתי. הערך של הפונקציה בכל נקודה לאורך ציר ה-x הוא החלק של התצפיות במערך הנתונים שקטן מהערך שצוין או שווה לו.

צמצום סיכונים אמפירי (ERM)

בחירת הפונקציה שממזערת את ההפסד במערך האימון. ההבדל בין זה לבין צמצום סיכונים מבניים.

מקודד

#language

באופן כללי, כל מערכת ML שמבצעת המרה מייצוג גולמי, דליל או חיצוני לייצוג מעובד יותר, צפוף יותר או פנימי יותר.

מקודדים הם לרוב רכיב של מודל גדול יותר, ולעתים קרובות הם משולבים עם מפענח. בחלק מה-Transformers משתמשים במקודדים ובמפענחים, אבל ב-Transformers אחרים משתמשים רק במקודד או רק במפענח.

במערכות מסוימות, הפלט של המקודד משמש כקלט לרשת סיווג או רגרסיה.

במשימות של רצף לרצף, מקודד מקבל רצף קלט ומחזיר מצב פנימי (וקטור). לאחר מכן, המפענח משתמש במצב הפנימי הזה כדי לחזות את הרצף הבא.

הגדרה של מקודד בארכיטקטורת טרנספורמר מופיעה במאמר בנושא טרנספורמר.

מידע נוסף זמין במאמר LLMs: What's a large language model (מודלים גדולים של שפה: מהו מודל גדול של שפה) בקורס Machine Learning Crash Course (קורס מקוצר על למידת מכונה).

נקודות קצה

מיקום שאפשר להגיע אליו דרך הרשת (בדרך כלל כתובת URL) שבו אפשר לקבל שירות.

ensemble

אוסף של מודלים שאומנו באופן עצמאי והתחזיות שלהם מחושבות כממוצע או מצטברות. במקרים רבים, מודל משולב מניב תחזיות טובות יותר ממודל יחיד. לדוגמה, יער אקראי הוא אנסמבל שנבנה מכמה עצי החלטה. חשוב לזכור שלא כל יערות ההחלטות הם אנסמבלים.

מידע נוסף זמין במאמר Random Forest (יער אקראי) בקורס המקוצר על למידת מכונה.

אנטרופיה

#df

#Metric

ב תורת המידע, אנטרופיה היא מדד למידת חוסר הצפיות של התפלגות הסתברויות. לחלופין, אנטרופיה מוגדרת גם ככמות המידע שכל דוגמה מכילה. הפיזור הוא בעל האנטרופיה הגבוהה ביותר האפשרית כשכל הערכים של משתנה אקראי הם בעלי הסתברות שווה.

הנוסחה לחישוב האנטרופיה של קבוצה עם שני ערכים אפשריים, 0 ו-1 (לדוגמה, התוויות בבעיה של סיווג בינארי), היא:

  H = -p log p - q log q = -p log p - (1-p) * log (1-p)

where:‎

• ‫H היא האנטרופיה.
• ‫p הוא השבר של הדוגמאות '1'.
• ‫q הוא החלק של הדוגמאות עם הערך '0'. שימו לב: q = (1 - p)
• log הוא בדרך כלל log₂. במקרה הזה, יחידת האנטרופיה היא ביט.

לדוגמה, נניח את הדברים הבאים:

• ‫100 דוגמאות מכילות את הערך '1'
• ‫300 דוגמאות מכילות את הערך '0'

לכן, ערך האנטרופיה הוא:

• p = 0.25
• q = 0.75
• H = (-0.25)log₂(0.25) - (0.75)log₂(0.75) = 0.81 bits per example

קבוצה מאוזנת לחלוטין (לדוגמה, 200 ערכים של '0' ו-200 ערכים של '1') תהיה בעלת אנטרופיה של 1.0 ביט לכל דוגמה. ככל שקבוצה הופכת לא מאוזנת יותר, האנטרופיה שלה מתקרבת ל-0.0.

בעצי החלטה, האנטרופיה עוזרת לגבש רווח מידע כדי לעזור למפצל לבחור את התנאים במהלך הצמיחה של עץ החלטה לסיווג.

השוואת האנטרופיה עם:

• gini impurity
• פונקציית האובדן cross-entropy

אנטרופיה נקראת לעיתים קרובות אנטרופיה של שאנון.

מידע נוסף זמין במאמר Exact splitter for binary classification with numerical features בקורס Decision Forests.

environment

#rl

בלמידת חיזוק, העולם שמכיל את הסוכן ומאפשר לסוכן לצפות במצב של העולם הזה. לדוגמה, העולם המיוצג יכול להיות משחק כמו שחמט, או עולם פיזי כמו מבוך. כשהסוכן מחיל פעולה על הסביבה, הסביבה עוברת בין מצבים.

פרק

#rl

בלמידת חיזוק, כל אחד מהניסיונות החוזרים של הסוכן ללמוד סביבה.

תקופה של זמן מערכת

#fundamentals

מעבר אימון מלא על כל מערך האימון כך שכל דוגמה עברה עיבוד פעם אחת.

אפוקה מייצגת N/גודל אצווה אימונים של איטרציות, כאשר N הוא מספר הדוגמאות הכולל.

לדוגמה, נניח את הדברים הבאים:

• מערך הנתונים מורכב מ-1,000 דוגמאות.
• גודל הקבוצה הוא 50 דוגמאות.

לכן, כל אפוקה דורשת 20 איטרציות:

1 epoch = (N/batch size) = (1,000 / 50) = 20 iterations

מידע נוסף זמין במאמר רגרסיה ליניארית: היפר-פרמטרים בקורס המקוצר על למידת מכונה.

מדיניות חמדנית של אפסילון

#rl

בלמידת חיזוק, מדיניות שפועלת לפי מדיניות אקראית בהסתברות אפסילון, או לפי מדיניות חמדנית בכל מקרה אחר. לדוגמה, אם אפסילון הוא 0.9, אז המדיניות היא מדיניות אקראית ב-90% מהמקרים ומדיניות חמדנית ב-10% מהמקרים.

במהלך פרקים עוקבים, האלגוריתם מקטין את הערך של אפסילון כדי לעבור ממדיניות אקראית למדיניות חמדנית. בשינוי המדיניות, הנציג קודם בוחן את הסביבה באופן אקראי ואז מנצל את התוצאות של הבחינה האקראית.

שוויון הזדמנויות

#responsible

#Metric

מדד הוגנות להערכת היכולת של מודל לחזות את התוצאה הרצויה באותה רמת דיוק לכל הערכים של מאפיין רגיש. במילים אחרות, אם התוצאה הרצויה של מודל היא הסיווג החיובי, המטרה היא ששיעור החיוביים האמיתיים יהיה זהה לכל הקבוצות.

שוויון הזדמנויות קשור לסיכויים שווים, שדורש שגם שיעורי החיוביים האמיתיים וגם שיעורי החיוביים הכוזבים יהיו זהים לכל הקבוצות.

נניח שאוניברסיטת גלאבדאבדריב מקבלת לתוכנית לימודים קפדנית במתמטיקה גם ליליפוטים וגם ברובדינגנאגים. בתי הספר העל-יסודיים של ליליפוט מציעים תוכנית לימודים מקיפה של שיעורי מתמטיקה, ורוב התלמידים עומדים בדרישות של התוכנית האוניברסיטאית. בבתי הספר התיכוניים של ברובדינגנאג לא מוצעים שיעורי מתמטיקה בכלל, וכתוצאה מכך, הרבה פחות תלמידים עומדים בדרישות. התנאי של שוויון הזדמנויות מתקיים לגבי התווית המועדפת 'התקבלו' בהקשר של לאום (ליליפוט או ברובדינגנאג) אם הסיכויים של תלמידים שעומדים בדרישות להתקבל שווים, בלי קשר ללאום שלהם (ליליפוט או ברובדינגנאג).

לדוגמה, נניח ש-100 אנשים מליליפוט ו-100 אנשים מברובדינגנאג הגישו בקשה להתקבל לאוניברסיטת גלובדאבדריב, וההחלטות לגבי הקבלה מתקבלות באופן הבא:

טבלה 1. מועמדים מליליפוט (90% מהם עומדים בדרישות)

	כשיר	לא מתאים
התקבל	45	3
נדחה	45	7
סה"כ	90	10
אחוז הסטודנטים שעומדים בדרישות והתקבלו: 45/90 = 50% אחוז הסטודנטים שלא עומדים בדרישות ונדחו: 7/10 = 70% האחוז הכולל של סטודנטים מליליפוט שהתקבלו: (45+3)/100 = 48%

 

טבלה 2. מועמדים בברובדינגנאג (10% כשירים):

	כשיר	לא מתאים
התקבל	5	9
נדחה	5	81
סה"כ	10	90
אחוז הסטודנטים שעומדים בדרישות שהתקבלו: 5/10 = 50% אחוז הסטודנטים שלא עומדים בדרישות שנדחו: 81/90 = 90% אחוז הסטודנטים הכולל מברובדינגנאג שהתקבלו: (5+9)/100 = 14%

הדוגמאות הקודמות עומדות בדרישה לשוויון הזדמנויות לקבלת סטודנטים שעומדים בדרישות, כי לסטודנטים שעומדים בדרישות מליליפוט ומברובדינגנאג יש סיכוי של 50% להתקבל.

למרות שהשוויון בהזדמנויות מתקיים, שני מדדי ההוגנות הבאים לא מתקיימים:

• שוויון דמוגרפי: שיעורי הקבלה של ליליפוטים ושל ברובדינגנאגים לאוניברסיטה שונים; 48% מהסטודנטים הליליפוטים מתקבלים, אבל רק 14% מהסטודנטים הברובדינגנאגים מתקבלים.
• סיכויים שווים: לתלמידים מליליפוט ולתלמידים מברובדינגנאגיה שעומדים בדרישות יש סיכוי שווה להתקבל, אבל האילוץ הנוסף שלפיו לתלמידים מליליפוט ולתלמידים מברובדינגנאגיה שלא עומדים בדרישות יש סיכוי שווה להידחות לא מתקיים. שיעור הדחייה של Lilliputians לא מתאימים הוא 70%, לעומת 90% של Brobdingnagians לא מתאימים.

מידע נוסף זמין במאמר הוגנות: שוויון הזדמנויות בקורס Machine Learning Crash Course.

הסתברות שווה

#responsible

#Metric

מדד הוגנות שנועד להעריך אם מודל חוזה תוצאות באותה רמת דיוק לכל הערכים של מאפיין רגיש ביחס לסיווג החיובי ולסיווג השלילי – ולא רק ביחס לסיווג אחד. במילים אחרות, גם שיעור החיוביים האמיתיים וגם שיעור השליליים הכוזבים צריכים להיות זהים בכל הקבוצות.

הסיכויים שווים קשורים לשוויון הזדמנויות, שמתמקד רק בשיעורי השגיאות עבור סיווג יחיד (חיובי או שלילי).

לדוגמה, נניח שאוניברסיטת גלאבדאבדריב מקבלת לתוכנית לימודים קפדנית במתמטיקה גם אנשים מליליפוט וגם אנשים מברובדינגנאג. בתי הספר התיכוניים של ליליפוט מציעים תוכנית לימודים מקיפה של שיעורי מתמטיקה, ורוב התלמידים עומדים בדרישות של התוכנית האוניברסיטאית. בבתי הספר התיכוניים בברובדינגנאג לא מוצעים שיעורי מתמטיקה בכלל, וכתוצאה מכך, הרבה פחות תלמידים עומדים בדרישות. הקריטריון של סיכויים שווים מתקיים אם לכל מועמד, לא משנה אם הוא ליליפוט או ברובדינגנאג, יש סיכוי שווה להתקבל לתוכנית אם הוא עומד בדרישות, וסיכוי שווה להידחות אם הוא לא עומד בדרישות.

נניח ש-100 אנשים מליליפוט ו-100 אנשים מברובדינגנאג הגישו בקשה להתקבל לאוניברסיטת גלובדובדריב, וההחלטות לגבי הקבלה מתקבלות באופן הבא:

טבלה 3. מועמדים מליליפוט (90% מהם עומדים בדרישות)

	כשיר	לא מתאים
התקבל	45	2
נדחה	45	8
סה"כ	90	10
אחוז התלמידים שעומדים בדרישות והתקבלו: 45/90 = 50% אחוז התלמידים שלא עומדים בדרישות ונדחו: 8/10 = 80% האחוז הכולל של תלמידי ליליפוט שהתקבלו: (45+2)/100 = 47%

 

טבלה 4. מועמדים בברובדינגנאג (10% כשירים):

	כשיר	לא מתאים
התקבל	5	18
נדחה	5	72
סה"כ	10	90
אחוז הסטודנטים שעומדים בדרישות והתקבלו: 5/10 = 50% אחוז הסטודנטים שלא עומדים בדרישות ונדחו: 72/90 = 80% אחוז הסטודנטים הכולל מברובדינגנאג שהתקבלו: (5+18)/100 = 23%

התנאי של סיכויים שווים מתקיים כי לסטודנטים מתאימים מליליפוט ומברובדינגנאג יש סיכוי של 50% להתקבל, ולסטודנטים לא מתאימים מליליפוט ומברובדינגנאג יש סיכוי של 80% להידחות.

הערה: למרות שהתנאי של הסתברות שווה מתקיים כאן, השוויון הדמוגרפי לא מתקיים. סטודנטים מליליפוט ומברובדינגנאג מתקבלים לאוניברסיטת גלובדובדריב בשיעורים שונים: 47% מהסטודנטים מליליפוט מתקבלים, ו-23% מהסטודנטים מברובדינגנאג מתקבלים.

ההגדרה הפורמלית של סיכויי הצלחה שווים מופיעה במאמר "Equality of Opportunity in Supervised Learning" (שוויון הזדמנויות בלמידה מפוקחת) באופן הבא: "המודל לחיזוי Ŷ עומד בדרישות של סיכויי הצלחה שווים ביחס לתכונה המוגנת A ולתוצאה Y אם Ŷ ו-A הם בלתי תלויים, בהינתן Y".

הערה: כדאי להשוות בין הסיכויים השווים לבין מדד השוויון בהזדמנויות, שהוא מדד מקל יותר.

Estimator

#TensorFlow

‫TensorFlow API שהוצא משימוש. מומלץ להשתמש ב-tf.keras במקום ב-Estimators.

evals

#language

#generativeAI

#Metric

משמש בעיקר כקיצור להערכות של מודלים גדולים של שפה. באופן כללי, evals הוא קיצור לכל סוג של הערכה.

הערכה

#language

#generativeAI

#Metric

התהליך של מדידת האיכות של מודל או השוואה בין מודלים שונים.

כדי להעריך מודל של למידת מכונה מבוקרת, בדרך כלל משווים אותו לקבוצת אימות ולקבוצת בדיקה. הערכת מודל שפה גדול כוללת בדרך כלל הערכות רחבות יותר של איכות ובטיחות.

דוגמה

#fundamentals

הערכים של שורה אחת ב-features ואולי גם label. דוגמאות בלמידה מונחית מתחלקות לשתי קטגוריות כלליות:

• דוגמה מסומנת מורכבת מתכונה אחת או יותר ומתווית. במהלך האימון נעשה שימוש בדוגמאות מתויגות.
• דוגמה לא מסומנת מורכבת מתכונה אחת או יותר, אבל לא כוללת תווית. דוגמאות ללא תוויות משמשות במהלך ההסקה.

לדוגמה, נניח שאתם מאמנים מודל כדי לקבוע את ההשפעה של תנאי מזג האוויר על ציוני התלמידים במבחנים. הנה שלוש דוגמאות עם תוויות:

תכונות			תווית
טמפרטורה	לחות	לחץ	ציון הבדיקה
15	47	998	טוב
19	34	1020	מצוינת
18	92	1012	גרועה

הנה שלוש דוגמאות ללא תווית:

טמפרטורה	לחות	לחץ
12	62	1014
21	47	1017
19	41	1021

השורה במערך נתונים היא בדרך כלל המקור הגולמי לדוגמה. כלומר, דוגמה בדרך כלל מורכבת מקבוצת משנה של העמודות במערך הנתונים. בנוסף, התכונות בדוגמה יכולות לכלול גם תכונות סינתטיות, כמו תכונות משולבות.

מידע נוסף זמין במאמר למידה מפוקחת בקורס 'מבוא ללמידת מכונה'.

חזרה על חוויה

#rl

בלמידת חיזוק, טכניקת DQN משמשת לצמצום קורלציות זמניות בנתוני האימון. הסוכן שומר את מעברי המצב במאגר חוזר, ואז דוגם מעברים ממאגר החוזר כדי ליצור נתוני אימון.

הטיה של עורך הניסוי

#responsible

מידע נוסף על הטיית אישור

בעיה של גרדיאנט מתפוצץ

#seq

הנטייה של גרדיאנטים ברשתות נוירונים עמוקות (במיוחד רשתות נוירונים חוזרות) להיות תלולים (גבוהים) באופן מפתיע. שיפועים תלולים גורמים לעדכונים גדולים מאוד של המשקלים של כל צומת ברשת נוירונים עמוקה.

קשה או בלתי אפשרי לאמן מודלים שסובלים מבעיית הגרדיאנט המתפוצץ. חיתוך הדרגתי יכול לצמצם את הבעיה הזו.

השוואה לבעיית שיפוע נעלם.

F

F₁

#Metric

מדד סיווג בינארי מסכם שמסתמך על דיוק וגם על החזרה. זו הנוסחה:

$$F{_1} = \frac{\text{2 * precision * recall}} {\text{precision + recall}}$$

כדי לראות דוגמאות, לוחצים על הסמל.

נניח שערכי הדיוק וההחזרה הם:

• precision = 0.6
• recall = 0.4

כך מחשבים את F₁:

$$F{_1} = \frac{\text{2 * 0.6 * 0.4}} {\text{0.6 + 0.4}} = 0.48$$

כשערכי הדיוק וההחזרה דומים למדי (כמו בדוגמה הקודמת), ערך F₁ קרוב לממוצע שלהם. אם יש הבדל משמעותי בין הדיוק לבין ההחזרה, הערך של F₁ יהיה קרוב יותר לערך הנמוך. לדוגמה:

• precision = 0.9
• recall = 0.1

$$F{_1} = \frac{\text{2 * 0.9 * 0.1}} {\text{0.9 + 0.1}} = 0.18$$

---

עובדתיות

#generativeAI

בעולם של למידת מכונה, מאפיין שמתאר מודל שהפלט שלו מבוסס על המציאות. המושג 'עובדתיות' הוא מושג ולא מדד. לדוגמה, נניח שאתם שולחים את הפרומפט הבא אל מודל שפה גדול:

מהי הנוסחה הכימית של מלח שולחן?

מודל שמבצע אופטימיזציה של נכונות עובדתית ישיב:

NaCl

יש נטייה להניח שכל המודלים צריכים להתבסס על עובדות. עם זאת, יש הנחיות מסוימות, כמו ההנחיות הבאות, שגורמות למודל AI גנרטיבי לבצע אופטימיזציה של יצירתיות ולא של דיוק עובדתי.

תספר לי לימריק על אסטרונאוט וזחל.

סביר להניח שהלימריק שיתקבל לא יתבסס על המציאות.

ההבדל בין המושג הזה לבין התבססות על עובדות.

מגבלת הוגנות

#responsible

החלת אילוץ על אלגוריתם כדי להבטיח שמתקיימת הגדרה אחת או יותר של הוגנות. דוגמאות למגבלות הוגנות:

• עיבוד שלאחר יצירת התמונה של הפלט של המודל.
• שינוי פונקציית ההפסד כדי לשלב עונש על הפרה של מדד הוגנות.
• הוספה ישירה של אילוץ מתמטי לבעיית אופטימיזציה.

מדד הוגנות

#responsible

#Metric

הגדרה מתמטית של 'הוגנות' שאפשר למדוד. דוגמאות למדדי הוגנות נפוצים:

• סיכויים שווים
• שוויון חיזוי
• הוגנות קונטרה-פקטואלית
• שוויון דמוגרפי

הרבה מדדים של הוגנות הם בלעדיים; אפשר לעיין באי-התאמה של מדדים של הוגנות.

תוצאה שלילית שגויה (FN)

#fundamentals

#Metric

דוגמה שבה המודל מנבא בטעות את הסיווג השלילי. לדוגמה, המודל מנבא שהודעת אימייל מסוימת אינה ספאם (הסיווג השלילי), אבל הודעת האימייל הזו היא למעשה ספאם.

שיעור התוצאות השליליות השגויות

#Metric

השיעור של הדוגמאות החיוביות בפועל שהמודל טעה לגביהן וניבא את הסיווג השלילי. הנוסחה הבאה משמשת לחישוב שיעור התוצאות השליליות השגויות:

$$\text{false negative rate} = \frac{\text{false negatives}}{\text{false negatives} + \text{true positives}}$$

מידע נוסף זמין במאמר ערכי סף ומטריצת בלבול בקורס המקוצר על למידת מכונה.

תוצאה חיובית שגויה (FP)

#fundamentals

#Metric

דוגמה שבה המודל חוזה בטעות את הסיווג החיובי. לדוגמה, המודל חוזה שהודעת אימייל מסוימת היא ספאם (הסיווג החיובי), אבל הודעת האימייל הזו לא ספאם בפועל.

מידע נוסף זמין במאמר ערכי סף ומטריצת בלבול בקורס המקוצר על למידת מכונה.

שיעור התוצאות החיוביות השגויות (FPR)

#fundamentals

#Metric

השיעור של הדוגמאות השליליות בפועל שהמודל טעה בהן וחיזה את הסיווג החיובי. הנוסחה הבאה משמשת לחישוב שיעור התוצאות החיוביות השגויות:

$$\text{false positive rate} = \frac{\text{false positives}}{\text{false positives} + \text{true negatives}}$$

שיעור התוצאות החיוביות השגויות הוא ציר ה-x בעקומת ROC.

מידע נוסף זמין במאמר בנושא סיווג: ROC ו-AUC בקורס המקוצר על למידת מכונה.

דעיכה מהירה

#language

#generativeAI

טכניקת אימון לשיפור הביצועים של מודלים גדולים של שפה (LLM). התכלות מהירה כוללת הפחתה מהירה של קצב הלמידה במהלך האימון. השיטה הזו עוזרת למנוע התאמת יתר של המודל לנתוני האימון, ומשפרת את ההכללה.

מאפיין

#fundamentals

משתנה קלט למודל למידת מכונה. דוגמה מורכבת מתכונה אחת או יותר. לדוגמה, נניח שאתם מאמנים מודל כדי לקבוע את ההשפעה של תנאי מזג האוויר על ציוני התלמידים במבחנים. בטבלה הבאה מוצגות שלוש דוגמאות, שכל אחת מהן מכילה שלוש תכונות ותווית אחת:

תכונות			תווית
טמפרטורה	לחות	לחץ	ציון הבדיקה
15	47	998	92
19	34	1020	84
18	92	1012	87

ניגודיות עם התווית.

מידע נוסף זמין במאמר Supervised Learning (למידה מפוקחת) בקורס Introduction to Machine Learning (מבוא ללמידת מכונה).

שילוב מאפיינים

#fundamentals

תכונה סינתטית שנוצרת על ידי 'הצלבה' של תכונות קטגוריות או תכונות שמוגדרות כקבוצות.

לדוגמה, נניח שיש מודל של 'חיזוי מצב רוח' שמייצג טמפרטורה באחת מארבע הקטגוריות הבאות:

• freezing
• chilly
• temperate
• warm

המשתנה הזה מייצג את מהירות הרוח באחד משלושת הסיווגים הבאים:

• still
• light
• windy

בלי תכונות משולבות, המודל הלינארי מתאמן באופן עצמאי על כל אחד משבעת הדליים הקודמים. לכן, המודל מתאמן על, למשל, freezing בנפרד מהאימון על, למשל, windy.

אפשרות אחרת היא ליצור שילוב של טמפרטורה ומהירות הרוח. לתכונה הסינתטית הזו יהיו 12 ערכים אפשריים:

• freezing-still
• freezing-light
• freezing-windy
• chilly-still
• chilly-light
• chilly-windy
• temperate-still
• temperate-light
• temperate-windy
• warm-still
• warm-light
• warm-windy

הודות לשילובים של תכונות, המודל יכול ללמוד את ההבדלים במצב הרוח בין יום freezing-windy ליום freezing-still.

אם תיצרו תכונה סינתטית משתי תכונות שלכל אחת מהן יש הרבה דליים שונים, לתכונה המשולבת שתתקבל יהיה מספר עצום של שילובים אפשריים. לדוגמה, אם לתכונה אחת יש 1,000 קטגוריות ולתכונה השנייה יש 2,000 קטגוריות, לתכונה המשולבת שמתקבלת יש 2,000,000 קטגוריות.

באופן רשמי, הצלבה היא מכפלה קרטזית.

השימוש בתכונות משולבות נעשה בעיקר עם מודלים לינאריים, ובמקרים נדירים עם רשתות עצביות.

מידע נוסף זמין במאמר נתונים קטגוריים: שילובים של תכונות בקורס המקוצר על למידת מכונה.

הנדסת פיצ'רים (feature engineering)

#fundamentals

#TensorFlow

תהליך שכולל את השלבים הבאים:

1. קביעה של תכונות שעשויות להיות שימושיות באימון מודל.
2. המרת נתונים גולמיים ממערך הנתונים לגרסאות יעילות של התכונות האלה.

לדוגמה, יכול להיות שתקבעו ש-temperature הוא תכונה שימושית. אחר כך אפשר להתנסות בחלוקה לקטגוריות כדי לשפר את היכולת של המודל ללמוד מטווחים שונים של temperature.

הנדסת תכונות נקראת לפעמים חילוץ תכונות או יצירת תכונות.

כדי לראות הערות נוספות על TensorFlow, לוחצים על הסמל.

ב-TensorFlow, הנדסת תכונות לרוב מתבצעת על ידי המרה של רשומות גולמיות בקובץ יומן למאגרי פרוטוקול של tf.Example. מידע נוסף זמין במאמר בנושא tf.Transform.

---

מידע נוסף זמין במאמר נתונים מספריים: איך מודל מעבד נתונים באמצעות וקטורים של תכונות בקורס המזורז ללמידת מכונה.

חילוץ מאפיינים

מונח בעל עומס יתר שיש לו אחת מההגדרות הבאות:

• שליפה של ייצוגים של תכונות ביניים שמחושבים על ידי מודל לא מפוקח או מודל שאומן מראש (לדוגמה, ערכים של שכבה מוסתרת ברשת עצבית) לשימוש כקלט במודל אחר.
• מילה נרדפת להנדסת פיצ'רים.

חשיבות התכונות

#df

#Metric

מילה נרדפת למונח חשיבות משתנים.

מערך תכונות

#fundamentals

קבוצת התכונות שהמודל של למידת המכונה מתאמן עליהן. לדוגמה, קבוצת מאפיינים פשוטה למודל שמנבא מחירי דיור יכולה לכלול מיקוד, גודל הנכס ומצב הנכס.

מפרט התכונה

#TensorFlow

מתאר את המידע שנדרש כדי לחלץ נתוני מאפיינים ממאגר פרוטוקול tf.Example. מכיוון ש-tf.Example protocol buffer הוא רק מאגר לנתונים, צריך לציין את הפרטים הבאים:

• הנתונים לחילוץ (כלומר, המפתחות של התכונות)
• סוג הנתונים (לדוגמה, float או int)
• האורך (קבוע או משתנה)

וקטור מאפיינים

#fundamentals

מערך של ערכי feature שמרכיבים example. וקטור המאפיינים משמש כקלט במהלך האימון ובמהלך ההסקה. לדוגמה, וקטור התכונות של מודל עם שתי תכונות נפרדות יכול להיות:

[0.92, 0.56]

בכל דוגמה מופיעים ערכים שונים של וקטור התכונות, ולכן וקטור התכונות של הדוגמה הבאה יכול להיות משהו כזה:

[0.73, 0.49]

הנדסת תכונות קובעת איך לייצג תכונות בווקטור התכונות. לדוגמה, מאפיין קטגורי בינארי עם חמישה ערכים אפשריים יכול להיות מיוצג באמצעות קידוד one-hot. במקרה כזה, החלק של וקטור התכונות בדוגמה מסוימת יכלול ארבעה אפסים ו-1.0 אחד במיקום השלישי, באופן הבא:

[0.0, 0.0, 1.0, 0.0, 0.0]

דוגמה נוספת: נניח שהמודל שלכם מורכב משלושה מאפיינים:

• תכונה קטגורית בינארית עם חמישה ערכים אפשריים שמיוצגים באמצעות קידוד one-hot. לדוגמה: [0.0, 1.0, 0.0, 0.0, 0.0]
• תכונה קטגורית בינארית נוספת עם שלושה ערכים אפשריים שמיוצגים באמצעות קידוד one-hot. לדוגמה: [0.0, 0.0, 1.0]
• תכונה של נקודה צפה, לדוגמה: 8.3.

במקרה כזה, וקטור התכונות של כל דוגמה ייוצג על ידי תשעה ערכים. בהינתן הערכים לדוגמה ברשימה הקודמת, וקטור התכונות יהיה:

0.0
1.0
0.0
0.0
0.0
0.0
0.0
1.0
8.3

מידע נוסף זמין במאמר נתונים מספריים: איך מודל מעבד נתונים באמצעות וקטורים של תכונות בקורס המזורז ללמידת מכונה.

הפיכת נתונים לתכונות

התהליך של חילוץ מאפיינים ממקור קלט, כמו מסמך או סרטון, ומיפוי המאפיינים האלה לוקטור מאפיינים.

חלק מהמומחים ל-ML משתמשים במונח featurization כמילה נרדפת לfeature engineering או לfeature extraction.

למידה משותפת (Federated)

גישה מבוזרת ללמידת מכונה שבאמצעותה מאמנים מודלים של למידת מכונה על סמך דוגמאות מבוזרות ששמורות במכשירים כמו סמארטפונים. בלמידה משותפת, קבוצת משנה של מכשירים מורידה את המודל הנוכחי משרת מרכזי לתיאום. המכשירים משתמשים בדוגמאות שמאוחסנות בהם כדי לשפר את המודל. לאחר מכן המכשירים מעלים את השיפורים במודל (אבל לא את דוגמאות האימון) לשרת המתאם, שם הם מצטברים עם עדכונים אחרים כדי ליצור מודל גלובלי משופר. אחרי הצבירה, המודל מעדכן את החישובים שבוצעו על ידי המכשירים, ולא צריך יותר את הנתונים האלה, כך שאפשר למחוק אותם.

מכיוון שדוגמאות האימון אף פעם לא מועלות, למידה משותפת (Federated) פועלת בהתאם לעקרונות הפרטיות של איסוף נתונים ממוקד והגבלת איסוף מידע.

פרטים נוספים זמינים בקומיקס בנושא למידה משותפת (כן, קומיקס).

לולאת משוב

#fundamentals

במערכות ללמידת מכונה, מצב שבו החיזויים של מודל מסוים משפיעים על נתוני האימון של אותו מודל או של מודל אחר. לדוגמה, מודל שממליץ על סרטים ישפיע על הסרטים שאנשים רואים, מה שישפיע על מודלים עתידיים להמלצות על סרטים.

מידע נוסף זמין במאמר מערכות ML לייצור: שאלות שכדאי לשאול בקורס המזורז ללמידת מכונה.

רשת זרימה קדימה (FFN)

רשת נוירונים ללא חיבורים מחזוריים או רקורסיביים. לדוגמה, רשתות נוירונים עמוקות מסורתיות הן רשתות נוירונים עם זרימה קדימה. בניגוד לרשתות נוירונים חוזרות, שהן מחזוריות.

למידה עם כמה דוגמאות

גישה של למידת מכונה, שמשמשת לעיתים קרובות לסיווג אובייקטים, ומיועדת לאימון של מודלים יעילים לסיווג על סמך מספר קטן של דוגמאות לאימון.

כדאי לעיין גם בלמידה מדוגמה אחת ובלמידה ללא דוגמאות.

מתן הנחיות עם כמה דוגמאות

#language

#generativeAI

פרומפט שמכיל יותר מדוגמה אחת (כמה דוגמאות) שמדגימות איך מודל שפה גדול צריך להשיב. לדוגמה, ההנחיה הארוכה הבאה מכילה שתי דוגמאות שמראות למודל שפה גדול איך לענות על שאילתה.

החלקים של הנחיה	הערות
מהו המטבע הרשמי של המדינה שצוינה?	השאלה שרוצים שה-LLM יענה עליה.
צרפת: EUR	דוגמה אחת.
בריטניה: פאונד בריטי (GBP)	דוגמה נוספת.
הודו:	השאילתה בפועל.

בדרך כלל, פרומפטים עם כמה דוגמאות מניבים תוצאות טובות יותר מאשר פרומפטים ללא דוגמאות ופרומפטים עם דוגמה אחת. עם זאת, כדי לעצב הנחיות עם כמה דוגמאות צריך להשתמש בהנחיה ארוכה יותר.

הנחיה עם כמה דוגמאות היא סוג של למידה מכמה דוגמאות שמוחלת על למידה מבוססת-הנחיות.

מידע נוסף זמין במאמר בנושא הנדסת הנחיות בקורס המקוצר על למידת מכונה.

כינור

#language

ספריית הגדרות שמתבססת על Python, ומגדירה את הערכים של פונקציות ומחלקות בלי קוד או תשתית פולשניים. במקרה של Pax – ובסיסי קוד אחרים של למידת מכונה – הפונקציות והמחלקות האלה מייצגות מודלים והיפרפרמטרים של אימון.

‫Fiddle מניח שבסיסי קוד של למידת מכונה מחולקים בדרך כלל ל:

• קוד הספריות, שמגדיר את השכבות ואת כלי האופטימיזציה.
• קוד 'דבק' של מערך הנתונים, שקורא לספריות ומקשר בין כל הרכיבים.

‫Fiddle מתעד את מבנה הקריאה של קוד הדבק בצורה לא מוערכת וניתנת לשינוי.

כוונון עדין

#language

#image

#generativeAI

שלב אימון שני, ספציפי למשימה, שמתבצע על מודל שעבר אימון מראש כדי לשפר את הפרמטרים שלו לתרחיש שימוש ספציפי. לדוגמה, רצף האימון המלא של חלק מהמודלים הגדולים של שפה הוא כזה:

1. אימון מראש: אימון מודל גדול של שפה על מערך נתונים כללי עצום, כמו כל הדפים בוויקיפדיה באנגלית.
2. כוונון עדין: אימון המודל שעבר אימון מראש לביצוע משימה ספציפית, כמו מענה לשאלות רפואיות. בדרך כלל, תהליך הכוונון העדין כולל מאות או אלפי דוגמאות שמתמקדות במשימה הספציפית.

דוגמה נוספת: רצף האימון המלא של מודל גדול של תמונות הוא כדלקמן:

1. אימון מראש: אימון של מודל תמונות גדול על מערך נתונים גדול של תמונות כלליות, כמו כל התמונות ב-Wikimedia Commons.
2. כוונון עדין: אימון של מודל שעבר אימון מראש לביצוע משימה ספציפית, כמו יצירת תמונות של לווייתנים קטלניים.

תהליך הכוונון העדין יכול לכלול כל שילוב של האסטרטגיות הבאות:

• שינוי של כל הפרמטרים הקיימים של המודל שעבר אימון מראש. התהליך הזה נקרא לפעמים כוונון עדין מלא.
• שינוי רק של חלק מהפרמטרים הקיימים של המודל שאומן מראש (בדרך כלל, השכבות הכי קרובות לשכבת הפלט), בלי לשנות את שאר הפרמטרים הקיימים (בדרך כלל, השכבות הכי קרובות לשכבת הקלט). מידע נוסף על כוונון יעיל בפרמטרים
• הוספת עוד שכבות, בדרך כלל מעל השכבות הקיימות שהכי קרובות לשכבת הפלט.

התאמה עדינה היא סוג של למידת העברה. לכן, יכול להיות שבמהלך הכוונון העדין נעשה שימוש בפונקציית הפסד שונה או בסוג מודל שונה מאלה ששימשו לאימון המודל שעבר אימון מראש. לדוגמה, אפשר לבצע כוונון עדין של מודל גדול של תמונות שעבר אימון מראש כדי ליצור מודל רגרסיה שמחזיר את מספר הציפורים בתמונת קלט.

השוואה וניגוד בין כוונון עדין לבין המונחים הבאים:

• זיקוק
• למידה מבוססת-הנחיות

מידע נוסף זמין במאמר Fine-tuning (כוונון עדין) בקורס המקוצר על למידת מכונה.

דגם הפלאש

#generativeAI

משפחה של מודלים קטנים יחסית של Gemini שעברו אופטימיזציה למהירות ולחביון נמוך. מודלים של Flash מיועדים למגוון רחב של אפליקציות שבהן תשובות מהירות וקצב העברה גבוה הם חיוניים.

פשתן

#language

ספרייה בקוד פתוח עם ביצועים גבוהים ללמידה עמוקה, שמבוססת על JAX. ‫Flax מספקת פונקציות לאימון רשתות עצביות, וגם שיטות להערכת הביצועים שלהן.

Flaxformer

#language

ספרייה של Transformer בקוד פתוח, שמבוססת על Flax ומיועדת בעיקר לעיבוד שפה טבעית ולמחקר רב-אופני.

שער שכחה

#seq

החלק בתא Long Short-Term Memory שמווסת את זרימת המידע דרך התא. שערי שכחה שומרים על ההקשר על ידי החלטה איזה מידע להשליך ממצב התא.

מודל בסיס

#generativeAI

#Metric

מודל שעבר אימון מראש גדול מאוד שאומן על מערך אימונים עצום ומגוון. מודל בסיס יכול לבצע את שתי הפעולות הבאות:

• להגיב בצורה טובה למגוון רחב של בקשות.
• לשמש כמודל בסיסי לכוונון עדין נוסף או להתאמה אישית אחרת.

במילים אחרות, מודל בסיסי כבר מסוגל לבצע משימות רבות באופן כללי, אבל אפשר להתאים אותו עוד יותר כדי שיהיה שימושי יותר למשימה ספציפית.

חלק ההצלחות

#generativeAI

#Metric

מדד להערכת הטקסט שנוצר על ידי מודל ML. המדד 'חלק ההצלחות' הוא מספר הפלט של הטקסט שנוצר בהצלחה חלקי המספר הכולל של פלט הטקסט שנוצר. לדוגמה, אם מודל שפה גדול יצר 10 בלוקים של קוד, מתוכם חמישה היו מוצלחים, אז שיעור ההצלחה יהיה 50%.

למרות שהמדד הזה שימושי מאוד בסטטיסטיקה, בלמידת מכונה הוא שימושי בעיקר למדידת משימות שניתנות לאימות, כמו יצירת קוד או בעיות מתמטיות.

full softmax

מילה נרדפת ל-softmax.

ההבדל בין זה לבין דגימת מועמדים.

מידע נוסף זמין במאמר רשתות עצביות: סיווג רב-מחלקתי בסדנה ללמידת מכונה.

שכבה מקושרת באופן מלא

שכבה סמויה שבה כל צומת מחובר לכל צומת בשכבה הסמויה הבאה.

שכבה מקושרת מלאה נקראת גם שכבה צפופה.

טרנספורמציה של פונקציה

פונקציה שמקבלת פונקציה כקלט ומחזירה פונקציה שעברה שינוי כפלט. ‫JAX משתמשת בטרנספורמציות של פונקציות.

G

GAN

קיצור של רשת למידה חישובית גנרטיבית.

Gemini

#language

#image

#generativeAI

המערכת האקולוגית שכוללת את ה-AI הכי מתקדם של Google. הרכיבים במערכת האקולוגית הזו כוללים:

• מודלים שונים של Gemini.
• ממשק שיחה אינטראקטיבי עם מודל Gemini. המשתמשים מקלידים הנחיות ו-Gemini משיב להנחיות האלה.
• ממשקי Gemini API שונים.
• מוצרים עסקיים שונים שמבוססים על מודלים של Gemini, למשל Gemini for Google Cloud.

המודלים של Gemini

#language

#image

#generativeAI

מודלים מולטימודאליים חדשניים מבוססי Transformer של Google. מודלים של Gemini מיועדים במיוחד לשילוב עם סוכנים.

המשתמשים יכולים לקיים אינטראקציה עם מודלים של Gemini במגוון דרכים, כולל באמצעות ממשק דיאלוג אינטראקטיבי וערכות SDK.

‏Gemma

#generativeAI

משפחה של מודלים קלים ופתוחים שמבוססים על אותם מחקרים וטכנולוגיות ששימשו ליצירת המודלים של Gemini. יש כמה מודלים שונים של Gemma, וכל אחד מהם מספק תכונות שונות, כמו ראייה, קוד וביצוע הוראות. פרטים נוספים מופיעים במאמר בנושא Gemma.

‫GenAI או genAI

#language

#image

#generativeAI

קיצור של בינה מלאכותית גנרטיבית.

הכללה

#fundamentals

היכולת של מודל לבצע חיזויים נכונים לגבי נתונים חדשים שלא נראו קודם. מודל שיכול להכליל הוא ההפך ממודל שמותאם יתר על המידה.

כדי לראות הערות נוספות, לוחצים על הסמל.

מאמנים מודל על הדוגמאות שבקבוצת האימון. כתוצאה מכך, המודל לומד את המאפיינים הייחודיים של הנתונים במערך האימון. הכללה (Generalization) בודקת בעצם אם המודל יכול ליצור תחזיות טובות לגבי דוגמאות שלא נכללות במערך האימון.

כדי לעודד הכללה, רגולריזציה עוזרת למודל להתאמן בצורה פחות מדויקת למאפיינים הייחודיים של הנתונים במערך האימון.

---

מידע נוסף מופיע במאמר הכללה בקורס המקוצר על למידת מכונה.

עקומת הכללה

#fundamentals

תרשים של הפסד האימון ושל הפסד האימות כפונקציה של מספר האיטרציות.

עקומת הכללה יכולה לעזור לכם לזהות התאמת יתר אפשרית. לדוגמה, עקומת ההכללה הבאה מצביעה על התאמת יתר, כי הפסד האימות בסופו של דבר גבוה משמעותית מהפסד האימון.

מידע נוסף מופיע במאמר הכללה בקורס המקוצר על למידת מכונה.

מודל לינארי מוכלל

הכללה של מודלים של רגרסיה של ריבועים פחותים, שמבוססים על רעש גאוסיאני, לסוגים אחרים של מודלים שמבוססים על סוגים אחרים של רעש, כמו רעש פואסוני או רעש קטגורי. דוגמאות למודלים לינאריים מוכללים:

• רגרסיה לוגיסטית
• רגרסיה רב-סיווגית
• רגרסיה של הריבועים הפחותים

אפשר למצוא את הפרמטרים של מודל ליניארי מוכלל באמצעות אופטימיזציה קמורה.

למודלים לינאריים מוכללים יש את המאפיינים הבאים:

• החיזוי הממוצע של מודל הרגרסיה האופטימלי של הריבועים הקטנים ביותר שווה לתווית הממוצעת בנתוני האימון.
• ההסתברות הממוצעת שחוזה מודל הרגרסיה הלוגיסטית האופטימלי שווה לתווית הממוצעת בנתוני האימון.

היכולת של מודל ליניארי מוכלל מוגבלת על ידי התכונות שלו. בניגוד למודל עמוק, מודל ליניארי מוכלל לא יכול 'ללמוד תכונות חדשות'.

טקסט שנוצר

#language

#generativeAI

באופן כללי, הטקסט שהמודל של למידת מכונה מוציא. כשמעריכים מודלים גדולים של שפה, חלק מהמדדים משווים בין טקסט שנוצר לבין טקסט להשוואה. לדוגמה, נניח שאתם מנסים לקבוע עד כמה מודל למידת מכונה מתרגם ביעילות מצרפתית להולנדית. במקרה זה:

• הטקסט שנוצר הוא התרגום להולנדית שהמודל של למידת המכונה מוציא.
• טקסט העזר הוא התרגום להולנדית שמתרגם אנושי (או תוכנה) יוצר.

שימו לב: חלק משיטות ההערכה לא כוללות טקסט הפניה.

רשת למידה חישובית גנרטיבית (GAN)

מערכת ליצירת נתונים חדשים שבה גנרטור יוצר נתונים ומפלה קובע אם הנתונים שנוצרו תקפים או לא תקפים.

מידע נוסף זמין בקורס בנושא רשתות למידה חישובית גנרטיבית (GAN).

AI גנרטיבי

#language

#image

#generativeAI

תחום מתפתח ומשנה את פני הדברים, ללא הגדרה רשמית. עם זאת, רוב המומחים מסכימים שמודלים של AI גנרטיבי יכולים ליצור ("לגנרר") תוכן שעונה על כל הקריטריונים הבאים:

• מורכב
• קוהרנטי
• מקורית

דוגמאות ל-AI גנרטיבי:

• מודלים גדולים של שפה (LLM), שיכולים ליצור טקסט מקורי מתוחכם ולענות על שאלות.
• מודל ליצירת תמונות, שיכול ליצור תמונות ייחודיות.
• מודלים ליצירת אודיו ומוזיקה, שיכולים ליצור מוזיקה מקורית או ליצור דיבור שנשמע מציאותי.
• מודלים ליצירת סרטונים, שיכולים ליצור סרטונים מקוריים.

טכנולוגיות קודמות, כולל LSTM ו-RNN, יכולות גם הן ליצור תוכן מקורי ועקבי. יש מומחים שרואים בטכנולוגיות המוקדמות האלה AI גנרטיבי, ויש מומחים שחושבים ש-AI גנרטיבי אמיתי צריך ליצור פלט מורכב יותר ממה שהטכנולוגיות המוקדמות האלה יכולות ליצור.

אפשר להשוות את זה ללמידת מכונה חיזויית.

מודל גנרטיבי

מבחינה מעשית, מודל שמבצע אחת מהפעולות הבאות:

• יוצר (מפיק) דוגמאות חדשות ממערך הנתונים לאימון. לדוגמה, מודל גנרטיבי יכול ליצור שירה אחרי אימון על מערך נתונים של שירים. החלק היוצר של רשת למידה חישובית גנרטיבית נכלל בקטגוריה הזו.
• קובעת את ההסתברות שדוגמה חדשה מגיעה ממערך האימון, או נוצרה מאותו מנגנון שיצר את מערך האימון. לדוגמה, אחרי אימון על מערך נתונים שמורכב ממשפטים באנגלית, מודל גנרטיבי יכול לקבוע את ההסתברות שקלט חדש הוא משפט תקף באנגלית.

מודל גנרטיבי יכול באופן תיאורטי להבחין בהתפלגות של דוגמאות או תכונות מסוימות במערך נתונים. כלומר:

p(examples)

מודלים של למידה בלתי מונחית הם גנרטיביים.

ההבדל ביניהם לבין מודלים דיסקרימינטיביים.

מחולל

מערכת המשנה בתוך רשת גנרטיבית יריבה שיוצרת דוגמאות חדשות.

ההפך ממודל דיסקרימינטיבי.

gini impurity

#df

#Metric

מדד שדומה לאנטרופיה. מפצלים משתמשים בערכים שנגזרים מאי-טוהר גיני או מאנטרופיה כדי ליצור תנאים לסיווג עצי החלטה. הרווח במידע נגזר מאנטרופיה. אין מונח מקביל שמקובל באופן אוניברסלי למדד שנגזר מאי-טוהר של גיני. עם זאת, המדד הזה, שאין לו שם, חשוב בדיוק כמו מדד הרווח במידע.

טומאת ג'יני נקראת גם מדד ג'יני או פשוט ג'יני.

כדי לראות פרטים מתמטיים על טוהר גיני, לוחצים על הסמל.

טומאת גיני היא ההסתברות לסיווג שגוי של נתון חדש שנלקח מאותה התפלגות. הטומאה של גיני בקבוצה עם שני ערכים אפשריים, 0 ו-1 (לדוגמה, התוויות בבעיה של סיווג בינארי), מחושבת לפי הנוסחה הבאה:

   ‫I = 1 - (p² + q²) = 1 - (p² + (1-p)²)

where:‎

• ‫I הוא מדד טוהר גיני.
• ‫p הוא השבר של הדוגמאות '1'.
• ‫q הוא החלק של הדוגמאות עם הערך '0'. הערה: q = 1-p

לדוגמה, נניח שיש לכם את מערך הנתונים הבא:

• ‫100 תוויות (0.25 ממערך הנתונים) מכילות את הערך '1'
• ‫300 תוויות (0.75 ממערך הנתונים) מכילות את הערך '0'

לכן, טומאת ה-Gini היא:

• p = 0.25
• q = 0.75
• ‫I = 1 - (0.25² + 0.75²) = 0.375

לכן, לתווית אקראית מאותו מערך נתונים יש סיכוי של 37.5% לסיווג שגוי, וסיכוי של 62.5% לסיווג נכון.

תווית מאוזנת לחלוטין (לדוגמה, 200 תווים של '0' ו-200 תווים של '1') תהיה בעלת אי-טוהר של גיני בשיעור 0.5. תווית לא מאוזנת מאוד תהיה בעלת טוהר גיני שקרוב ל-0.0.

---

מערך נתונים מוזהב

קבוצה של נתונים שנאספו באופן ידני ומייצגים בסיס מידע משותף. צוותים יכולים להשתמש במערך נתונים מוזהב אחד או יותר כדי להעריך את איכות המודל.

חלק ממערכי הזהב מתעדים תת-דומיינים שונים של נתוני אמת. לדוגמה, מערך נתונים מוזהב לסיווג תמונות עשוי לכלול תנאי תאורה ורזולוציית תמונה.

תשובה מוזהבת

#language

#generativeAI

תשובה שידוע שהיא טובה. לדוגמה, אם נותנים את ההנחיה הבאה:

2 + 2

התשובה המושלמת היא:

4

הערה: ארגונים מסוימים מגדירים מונחים נוספים כמו תשובה כסופה ותשובת פלטינה לתשובות באיכות נמוכה או גבוהה יותר, בהתאמה, מהתשובה המוזהבת. לדוגמה, ארגון יכול להשתמש בתגובה ברמת פלטינה כדי לציין תגובה מושלמת שנוצרה על ידי מומחה ונבדקה על ידי מומחים נוספים.

כאן אפשר לקרוא הערות על תשובות מושלמות ועל טקסט הפניה.

חלק ממדדי ההערכה, כמו ROUGE, משווים טקסט ייחוס לטקסט שנוצר על ידי מודל. אם יש תשובה נכונה אחת להנחיה, התשובה המוזהבת משמשת בדרך כלל כטקסט ההפניה.

יש הנחיות שאין להן תשובה נכונה אחת. לדוגמה, להנחיה תסכם את המסמך הזה סביר להניח שיהיו הרבה תשובות נכונות. בפרומפטים כאלה, לרוב לא מעשי להשתמש בטקסט הפניה כי המודל יכול ליצור מגוון רחב מאוד של סיכומים אפשריים. עם זאת, יכול להיות שיהיה שימושי במצב הזה לקבל תשובה מושלמת. לדוגמה, תשובה מושלמת שמכילה סיכום טוב של מסמך יכולה לעזור לאמן מערכת אוטומטית למתן ציונים לזיהוי דפוסים של סיכומי מסמכים טובים.

---

‏Google AI Studio

כלי של Google שמספק ממשק ידידותי למשתמש לניסוי ובנייה של אפליקציות באמצעות מודלים של שפה גדולה של Google. פרטים נוספים זמינים בדף הבית של Google AI Studio.

‫GPT (Generative Pre-trained Transformer)

#language

משפחה של מודלים גדולים של שפה שמבוססים על Transformer ופותחו על ידי OpenAI.

גרסאות של GPT יכולות להתאים לכמה אופנים, כולל:

• יצירת תמונות (לדוגמה, ImageGPT)
• יצירת תמונות מטקסט (לדוגמה, DALL-E).

הדרגתי

הווקטור של הנגזרות החלקיות ביחס לכל המשתנים הבלתי תלויים. בלמידת מכונה, הגרדיאנט הוא וקטור של נגזרות חלקיות של פונקציית המודל. השיפוע מצביע על הכיוון של העלייה התלולה ביותר.

צבירת גרדיאנטים

טכניקת backpropagation שמעדכנת את הפרמטרים רק פעם אחת בכל תקופה ולא פעם אחת בכל איטרציה. אחרי העיבוד של כל מיני-קבוצה, הצטברות הגרדיאנטים פשוט מעדכנת את הסכום הכולל של הגרדיאנטים. לאחר מכן, אחרי עיבוד המיני-batch האחרון באפוק, המערכת מעדכנת סופית את הפרמטרים על סמך הסכום הכולל של כל שינויי הגרדיאנט.

הצטברות של גרדיאנטים שימושית כשגודל האצווה גדול מאוד בהשוואה לכמות הזיכרון שזמינה לאימון. כשיש בעיה בזיכרון, הנטייה הטבעית היא להקטין את גודל האצווה. עם זאת, הקטנת גודל האצווה בשיטת backpropagation רגילה מגדילה את מספר העדכונים של הפרמטרים. הצטברות של גרדיאנטים מאפשרת למודל להימנע מבעיות זיכרון, ועדיין להתאמן ביעילות.

עצי החלטה עם חיזוק גרדיאנט (GBT)

#df

סוג של יער החלטות שבו:

• הדרכה מתבססת על חיזוק גרדיאנט.
• המודל החלש הוא עץ החלטה.

מידע נוסף זמין במאמר Gradient Boosted Decision Trees (עצים להחלטות עם שיפור גרדיאנט) בקורס בנושא Decision Forests (יערות החלטה).

חיזוק גרדיאנט

#df

אלגוריתם אימון שבו מודלים חלשים מאומנים באופן איטרטיבי כדי לשפר את האיכות (להפחית את האובדן) של מודל חזק. לדוגמה, מודל חלש יכול להיות מודל לינארי או מודל קטן של עץ החלטות. המודל החזק הופך לסכום של כל המודלים החלשים שאומנו קודם לכן.

בצורה הפשוטה ביותר של שיטת Gradient Boosting, בכל איטרציה מאמנים מודל חלש כדי לחזות את שיפוע אובדן המידע של המודל החזק. לאחר מכן, הפלט של המודל החזק מתעדכן על ידי חיסור הגרדיאנט החזוי, בדומה לירידת גרדיאנט.

$$F_{0} = 0$$ $$F_{i+1} = F_i - \xi f_i $$

where:‎

• ‫$F_{0}$ הוא המודל להתחלה חזקה.
• ‫$F_{i+1}$ הוא המודל החזק הבא.
• ‫$F_{i}$ הוא המודל החזק הנוכחי.
• ‫$\xi$ הוא ערך בין 0.0 ל-1.0 שנקרא התכווצות, שדומה לקצב הלמידה בשיטת הגרדיאנט.
• ‫$f_{i}$ הוא מודל חלש שאומן לחזות את שיפוע ההפסד של $F_{i}$.

וריאציות מודרניות של gradient boosting כוללות גם את הנגזרת השנייה (Hessian) של הפסד בחישוב שלהן.

עצי החלטה משמשים בדרך כלל כמודלים חלשים בשיטת Gradient Boosting. מידע על עצים לשיפור גרדיאנט (החלטות)

חיתוך גרדיאנט

#seq

מנגנון נפוץ לפתרון בעיית הגרדיאנט המתפוצץ הוא הגבלה מלאכותית (חיתוך) של הערך המקסימלי של הגרדיאנטים כשמשתמשים בירידת גרדיאנט כדי לאמן מודל.

ירידת גרדיאנט

#fundamentals

טכניקה מתמטית שמטרתה למזער את ההפסד. האלגוריתם Gradient descent (ירידת גרדיאנט) משנה באופן איטרטיבי את המשקלים ואת ההטיות, ומוצא בהדרגה את השילוב הטוב ביותר לצמצום ההפסד.

השיטה של ירידת גרדיאנט קיימת כבר הרבה מאוד זמן, הרבה לפני למידת מכונה.

מידע נוסף זמין במאמר רגרסיה לינארית: ירידה בשיפוע בסדנה ללימוד מכונת למידה.

תרשים

#TensorFlow

ב-TensorFlow, מפרט חישוב. הצמתים בתרשים מייצגים פעולות. הקצוות הם מכוונים ומייצגים העברה של תוצאת פעולה (Tensor) כאופרנד לפעולה אחרת. אפשר להשתמש ב-TensorBoard כדי להמחיש תרשים.

הרצת גרף

#TensorFlow

סביבת תכנות של TensorFlow שבה התוכנית יוצרת קודם גרף ואז מפעילה את הגרף הזה, כולו או חלקו. הפעלת הגרף היא מצב ההפעלה שמוגדר כברירת מחדל ב-TensorFlow 1.x.

ההפך מ-eager execution.

מדיניות חמדנית

#rl

בלמידת חיזוק, מדיניות שתמיד בוחרת את הפעולה עם ההחזר הצפוי הכי גבוה.

עיגון בנתונים

מאפיין של מודל שהפלט שלו מבוסס על חומר מקור ספציפי (או "מעוגן" בו). לדוגמה, נניח שאתם מספקים ספר לימוד שלם בפיזיקה כקלט ("הקשר") למודל שפה גדול. לאחר מכן, מזינים למודל השפה הגדול שאלה בפיזיקה. אם התשובה של המודל משקפת מידע שמופיע בספר הלימוד הזה, אז המודל מבוסס על ספר הלימוד הזה.

חשוב לזכור שמודל מעוגן הוא לא תמיד מודל עובדתי. לדוגמה, יכול להיות שיש טעויות בספר הלימוד לפיזיקה שמשמש כקלט.

ערכי סף (ground truth)

#fundamentals

ריאליטי.

מה שקרה בפועל.

לדוגמה, נניח שיש מודל של סיווג בינארי שמנבא אם סטודנט בשנה הראשונה באוניברסיטה יסיים את התואר תוך שש שנים. האמת הבסיסית של המודל הזה היא אם התלמיד או התלמידה סיימו את הלימודים תוך שש שנים.

כדי לראות הערות נוספות, לוחצים על הסמל.

אנחנו מעריכים את איכות המודל בהשוואה לאמת הבסיסית. עם זאת, נתוני האמת לא תמיד מדויקים לחלוטין. לדוגמה, הנה כמה דוגמאות לפגמים פוטנציאליים בנתוני האמת:

• בדוגמה של סיום הלימודים, האם אנחנו בטוחים שרשומות סיום הלימודים של כל תלמיד תמיד נכונות? האם רישום הנתונים באוניברסיטה מתבצע בצורה מושלמת?
• נניח שהתווית היא ערך נקודה צפה שנמדד על ידי מכשירים (לדוגמה, ברומטרים). איך אפשר לוודא שכל המכשירים מכוילים באופן זהה או שכל קריאה בוצעה באותם תנאים?
• אם התווית היא עניין של דעה אנושית, איך אפשר לוודא שכל בודק אנושי מעריך את האירועים באותו אופן? כדי לשפר את העקביות, לפעמים מתערבים מומחים אנושיים.

---

הטיית ייחוס לקבוצה

#responsible

הנחה שמה שנכון לגבי אדם מסוים נכון גם לגבי כל האנשים בקבוצה הזו. ההשפעות של הטיית שיוך לקבוצה עלולות להיות חמורות יותר אם משתמשים בדגימה נוחה לאיסוף נתונים. במדגם לא מייצג, יכול להיות שיוצגו שיוכים שלא משקפים את המציאות.

כדאי לעיין גם בהטיית הומוגניות של קבוצות חיצוניות ובהטיה לטובת קבוצת השייכות. מידע נוסף זמין גם במאמר הוגנות: סוגי הטיה בקורס המקוצר על למידת מכונה.

H

הזיה

#language

יצירת פלט שנראה סביר אבל כולל עובדות שגויות על ידי מודל AI גנרטיבי, שמציג טענה לגבי העולם האמיתי. לדוגמה, מודל של AI גנרטיבי שטוען שברק אובמה מת בשנת 1865 מייצר הזיות.

גיבוב (hashing)

בלמידת מכונה, מנגנון להוספת נתונים קטגוריים לתאים, במיוחד כשמספר הקטגוריות גדול, אבל מספר הקטגוריות שמופיעות בפועל במערך הנתונים קטן יחסית.

לדוגמה, בכדור הארץ יש כ-73,000 מיני עצים. אפשר לייצג כל אחד מ-73,000 מיני העצים ב-73,000 קטגוריות נפרדות. לחלופין, אם רק 200 ממיני העצים האלה מופיעים בפועל במערך נתונים, אפשר להשתמש בגיבוב כדי לחלק את מיני העצים ל-500 דליים.

מאגר אחד יכול להכיל כמה מיני עצים. לדוגמה, באמצעות גיבוב אפשר להכניס לאותה קטגוריה את baobab ו-red maple – שני מינים שונים מבחינה גנטית. בכל מקרה, גיבוב הוא עדיין דרך טובה למפות קבוצות גדולות של קטגוריות למספר הדליים שנבחר. גיבוב הופך מאפיין קטגוריאלי עם מספר גדול של ערכים אפשריים למספר קטן בהרבה של ערכים על ידי קיבוץ ערכים בצורה דטרמיניסטית.

מידע נוסף זמין במאמר Categorical data: Vocabulary and one-hot encoding (נתונים קטגוריים: אוצר מילים וקידוד one-hot) בתוכנית Machine Learning Crash Course (מבוא ללמידת מכונה).

היוריסטיקה

פתרון פשוט לבעיה שאפשר ליישם במהירות. לדוגמה, "בעזרת היוריסטיקה, הגענו לרמת דיוק של 86%. כשעברנו לרשת עצבית עמוקה, רמת הדיוק עלתה ל-98%".

שכבה נסתרת

#fundamentals

שכבה ברשת עצבית בין שכבת הקלט (התכונות) לבין שכבת הפלט (התחזית). כל שכבה מוסתרת מורכבת מנוירון אחד או יותר. לדוגמה, רשת הנוירונים הבאה מכילה שתי שכבות נסתרות, הראשונה עם שלושה נוירונים והשנייה עם שני נוירונים:

רשת עצבית עמוקה מכילה יותר משכבה נסתרת אחת. לדוגמה, האיור הקודם הוא רשת עצבית עמוקה כי המודל מכיל שתי שכבות מוסתרות.

מידע נוסף זמין במאמר רשתות עצביות: צמתים ושכבות מוסתרות בסדנה ללמידת מכונה.

סידור היררכי באשכולות

#clustering

קטגוריה של אלגוריתמים של קיבוץ באשכולות שיוצרים עץ של אשכולות. השיטה של אשכול היררכי מתאימה לנתונים היררכיים, כמו טקסונומיות בוטניות. יש שני סוגים של אלגוריתמים להיררכיה של אשכולות:

• בשיטת האשכול הצטברותי, כל דוגמה משויכת לאשכול משלה, ואז האשכולות הקרובים ביותר ממוזגים באופן איטרטיבי כדי ליצור עץ היררכי.
• חלוקה לקלאסטרים: קודם מקבצים את כל הדוגמאות לקלאסטר אחד, ואז מחלקים את הקלאסטר באופן איטרטיבי לעץ היררכי.

השיטה הזו שונה מאשכולות מבוססי-מרכז.

מידע נוסף זמין במאמר בנושא אלגוריתמים של אשכולות בקורס בנושא אשכולות.

טיפוס על גבעה

אלגוריתם לשיפור איטרטיבי ("הליכה בעלייה") של מודל למידת מכונה עד שהמודל מפסיק להשתפר ("מגיע לראש הגבעה"). הצורה הכללית של האלגוריתם היא:

1. יוצרים מודל התחלתי.
2. יוצרים מודלים חדשים לניסוי על ידי ביצוע שינויים קלים בדרך שבה מאמנים או מכווננים את המודלים. יכול להיות שתצטרכו לעבוד עם מערך אימון שונה במקצת או עם היפרפרמטרים שונים.
3. מעריכים את המודלים החדשים המועמדים ובוחרים אחת מהפעולות הבאות:
   • אם מודל מועמד מספק ביצועים טובים יותר ממודל ההתחלה, הוא הופך למודל ההתחלה החדש. במקרה כזה, חוזרים על שלבים 1, 2 ו-3.
   • אם אף מודל לא עולה על מודל ההתחלה, הגעתם לשיא וצריך להפסיק את האיטרציות.

הערה: אפשר לחשוב על הנקודה הגבוהה ביותר בגבעה כעל נקודת מקסימום מקומית, שלא בהכרח מייצגת נקודת מקסימום גלובלית. כלומר, שיטת הטיפוס על גבעה יכולה לעזור לכם למצוא את המודל הכי טוב במסגרת המגבלות הנוכחיות. עם זאת, יכול להיות שאפשר ליצור מודל טוב יותר אם מתחילים מחדש עם גישה חדשה.

הנחיות לגבי כוונון היפר-פרמטרים זמינות במדריך ההפעלה לכוונון למידה עמוקה. הנחיות בנושא הנדסת תכונות זמינות במודולים בנושא נתונים בקורס המקוצר על למידת מכונה.

אובדן ציר

#Metric

משפחה של פונקציות loss לסיווג שנועדו למצוא את גבול ההחלטה במרחק הכי גדול מכל דוגמה לאימון, וכך למקסם את המרווח בין הדוגמאות לבין הגבול. מכונות KSVM משתמשות באובדן ציר (או בפונקציה קשורה, כמו אובדן ציר בריבוע). בסיווג בינארי, פונקציית ההפסד של ציר (hinge) מוגדרת כך:

$$\text{loss} = \text{max}(0, 1 - (y * y'))$$

כאשר y הוא התיוג האמיתי, -1 או +1, ו-y' הוא הפלט הגולמי של מודל הסיווג:

$$y' = b + w_1x_1 + w_2x_2 + … w_nx_n$$

לכן, גרף של הפסד hinge לעומת (y * y') נראה כך:

הטיה היסטורית

#responsible

סוג של הטיה שכבר קיימת בעולם והגיעה למערך נתונים. ההטיות האלה נוטות לשקף סטריאוטיפים תרבותיים קיימים, אי-שוויון דמוגרפי ודעות קדומות כלפי קבוצות חברתיות מסוימות.

לדוגמה, נניח שיש מודל סיווג שמנבא אם מבקש הלוואה יפגר בתשלומים או לא. המודל הזה אומן על נתונים היסטוריים של פיגורים בתשלומים על הלוואות משנות ה-80 מבנקים מקומיים בשתי קהילות שונות. אם בעבר, הסיכוי שמועמדים מקהילה א' לא יעמדו בהחזר ההלוואות היה פי שישה יותר גבוה מהסיכוי שמועמדים מקהילה ב' לא יעמדו בהחזר ההלוואות, יכול להיות שהמודל ילמד הטיה היסטורית שתגרום לכך שהסיכוי שהמודל יאשר הלוואות בקהילה א' יהיה נמוך יותר, גם אם התנאים ההיסטוריים שהובילו לשיעורי ברירת המחדל הגבוהים יותר בקהילה הזו כבר לא רלוונטיים.

מידע נוסף זמין במאמר הוגנות: סוגי הטיה בסדנת מבוא ללמידת מכונה.

נתונים במצב holdout

דוגמאות שלא נעשה בהן שימוש מכוון ("הוצאו") במהלך האימון. מערך הנתונים validation ומערך הנתונים test הם דוגמאות לנתונים שמוחזקים בנפרד. נתוני החזקה (Holdout) עוזרים להעריך את היכולת של המודל לבצע הכללה לנתונים אחרים, מלבד הנתונים שעליהם הוא אומן. ההפסד בקבוצת ההחזקה מספק הערכה טובה יותר של ההפסד במערך נתונים שלא נראה מאשר ההפסד בקבוצת האימון.

מארח

#TensorFlow

#GoogleCloud

כשמאמנים מודל ML על שבבי האצה (GPU או TPU), החלק במערכת ששולט בשני הדברים הבאים:

• הזרימה הכוללת של הקוד.
• החילוץ והשינוי של צינור הקלט.

המארח פועל בדרך כלל במעבד (CPU), ולא בצ'יפ מאיץ. המכשיר מבצע מניפולציות על טנסורים בצ'יפים של המאיץ.

בדיקה אנושית

#language

#generativeAI

תהליך שבו אנשים שופטים את איכות הפלט של מודל למידת מכונה. לדוגמה, אנשים דו-לשוניים שופטים את האיכות של מודל למידת מכונה לתרגום. הערכה אנושית שימושית במיוחד לבדיקת מודלים שאין להם תשובה נכונה אחת.

ההבדל בין הערכה אוטומטית לבין הערכה של כלי אוטומטי למתן ציונים.

האדם שבתהליך (HITL)

#generativeAI

ביטוי לא מוגדר היטב שיכול להיות שהוא מתייחס לאחת מהאפשרויות הבאות:

• מדיניות של צפייה בתוצאות של AI גנרטיבי בצורה ביקורתית או סקפטית. לדוגמה, האנשים שכותבים את מילון המונחים הזה של ML מופתעים מהיכולות של מודלים גדולים של שפה, אבל הם מודעים לטעויות שמודלים גדולים של שפה עושים.
• אסטרטגיה או מערכת שמבטיחות שאנשים יעזרו לעצב, להעריך ולשפר את ההתנהגות של מודל. השארת אדם בתהליך מאפשרת ל-AI ליהנות מאינטליגנציה של מכונה וגם מאינטליגנציה אנושית. לדוגמה, מערכת שבה AI יוצר קוד שמהנדסי תוכנה בודקים אותו היא מערכת עם מעורבות אנושית.

היפר-פרמטר

#fundamentals

המשתנים שאתם או שירות לכוונון היפר-פרמטרים משנים במהלך הרצות עוקבות של אימון מודל. לדוגמה, קצב הלמידה הוא היפר-פרמטר. אפשר להגדיר את קצב הלמידה ל-0.01 לפני סשן אימון. אם תגיעו למסקנה ש-0.01 הוא ערך גבוה מדי, תוכלו להגדיר את קצב הלמידה ל-0.003 בסשן האימון הבא.

לעומת זאת, פרמטרים הם משקלים והטיות שונים שהמודל לומד במהלך האימון.

מידע נוסף זמין במאמר רגרסיה ליניארית: היפר-פרמטרים בקורס המקוצר על למידת מכונה.

מישור היפר

גבול שמפריד בין מרחב לשני תת-מרחבים. לדוגמה, קו הוא היפר-מישור בשני ממדים ומישור הוא היפר-מישור בשלושה ממדים. בדרך כלל, בלמידת מכונה, היפר-מישור הוא הגבול שמפריד בין מרחב רב-ממדי. מכונות וקטוריות לתמיכה בליבה משתמשות בהיפר-מישורים כדי להפריד בין מחלקות חיוביות למחלקות שליליות, לרוב במרחב רב-ממדי.

I

i.i.d.

קיצור של independently and identically distributed (מפוזר באופן עצמאי וזהה).

זיהוי תמונות, זיהוי תמונה

#image

תהליך שמסווג אובייקטים, דפוסים או מושגים בתמונה. זיהוי תמונות נקרא גם סיווג תמונות.

מידע נוסף זמין במאמר ML Practicum: Image Classification.

מידע נוסף זמין בקורס ML Practicum: Image Classification.

קבוצת נתונים לא מאוזנת

מילה נרדפת ל-class-imbalanced dataset.

הטיה מרומזת

#responsible

יצירת קשר או הנחה באופן אוטומטי על סמך מודלים וזיכרונות במוח. הטיה מובלעת יכולה להשפיע על:

• איך הנתונים נאספים ומסווגים.
• איך מערכות למידת מכונה מתוכננות ומפותחות.

לדוגמה, כשבונה מודל סיווג כדי לזהות תמונות חתונה, מהנדס יכול להשתמש בנוכחות של שמלה לבנה בתמונה כמאפיין. עם זאת, שמלות לבנות היו מקובלות רק בתקופות מסוימות ובתרבויות מסוימות.

אפשר לקרוא גם על הטיית אישור.

השלמת נתונים חסרים

קיצור של השלמת ערכים.

אי התאמה בין מדדי הוגנות

#responsible

#Metric

הרעיון שלפיו חלק מהמושגים של הוגנות לא תואמים זה לזה ולא ניתן לספק אותם בו-זמנית. לכן, אין מדד אוניברסלי יחיד לכימות ההוגנות שאפשר להחיל על כל בעיות ה-ML.

יכול להיות שזה נשמע מייאש, אבל חוסר התאמה בין מדדי ההוגנות לא אומר שהמאמצים להשגת הוגנות הם חסרי תועלת. במקום זאת, הוא מציע להגדיר את ההוגנות בהקשר של בעיה מסוימת של למידת מכונה, במטרה למנוע נזקים שספציפיים לתרחישי השימוש שלה.

במאמר "On the (im)possibility of fairness" יש דיון מפורט יותר על חוסר ההתאמה של מדדי הוגנות.

למידה בהקשר

#language

#generativeAI

מילה נרדפת ל-few-shot prompting.

בלתי תלויים ומחולקים באופן זהה (i.i.d)

#fundamentals

נתונים שנלקחים מהתפלגות שלא משתנה, וכל ערך שנלקח לא תלוי בערכים שנלקחו קודם. ה-i.i.d. הוא הגז האידיאלי של למידת מכונה – מבנה מתמטי שימושי אבל כמעט אף פעם לא נמצא בדיוק בעולם האמיתי. לדוגמה, פיזור המבקרים בדף אינטרנט עשוי להיות בלתי תלוי ומחולק באופן זהה (i.i.d) במהלך חלון זמן קצר. כלומר, הפיזור לא משתנה במהלך חלון הזמן הקצר הזה, והביקור של אדם אחד בדרך כלל לא תלוי בביקור של אדם אחר. עם זאת, אם תרחיבו את חלון הזמן הזה, יכול להיות שתראו הבדלים עונתיים במספר המבקרים בדף האינטרנט.

מידע נוסף זמין במאמר בנושא nonstationarity.

הוגנות אישית

#responsible

#Metric

מדד הוגנות שבודק אם אנשים דומים מסווגים באופן דומה. לדוגמה, יכול להיות שב-Brobdingnagian Academy ירצו להבטיח הוגנות כלפי כל תלמיד ותלמידה, ולכן יקפידו על כך שלשני תלמידים עם ציונים זהים במבחנים סטנדרטיים יהיה סיכוי שווה להתקבל למוסד.

חשוב לזכור שההוגנות האישית תלויה לחלוטין בהגדרה של 'דמיון' (במקרה הזה, ציונים במבחנים וציונים בלימודים), ויש סיכון ליצירת בעיות חדשות שקשורות להוגנות אם מדד הדמיון לא כולל מידע חשוב (למשל, רמת הקושי של תוכנית הלימודים של התלמיד).

במאמר "הוגנות באמצעות מודעות" יש דיון מפורט יותר בנושא ההוגנות האישית.

היקש

#fundamentals

#generativeAI

בלמידת מכונה מסורתית, התהליך של ביצוע חיזויים על ידי החלת מודל שעבר אימון על דוגמאות לא מסומנות. מידע נוסף זמין במאמר בנושא למידה מפוקחת בקורס מבוא ל-ML.

במודלים גדולים של שפה, הסקה היא התהליך של שימוש במודל מאומן כדי ליצור פלט, למשל, תגובת הטקסט לקלט פרומפט.

למונח 'היסק' יש משמעות שונה במקצת בסטטיסטיקה. פרטים נוספים זמינים במאמר בוויקיפדיה בנושא הסקה סטטיסטית.

נתיב הסקה

#df

בעץ החלטה, במהלך הסקת מסקנות, המסלול שדוגמה מסוימת עוברת מהשורש לתנאים אחרים, ומסתיים בעלה. לדוגמה, בעץ ההחלטות הבא, החצים העבים יותר מראים את נתיב ההסקה לדוגמה עם ערכי התכונות הבאים:

• x = 7
• y = 12
• z = -3

נתיב ההסקה באיור הבא עובר דרך שלושה תנאים לפני שהוא מגיע לעלה (Zeta).

שלושת החיצים העבים מראים את נתיב ההסקה.

מידע נוסף זמין במאמר עצי החלטה בקורס בנושא יערות החלטה.

הרווח ממידע

#df

#Metric

ביערות החלטה, ההפרש בין האנטרופיה של צומת לבין הסכום המשוקלל (לפי מספר הדוגמאות) של האנטרופיה של צמתי הצאצאים שלה. האנטרופיה של צומת היא האנטרופיה של הדוגמאות בצומת הזה.

לדוגמה, נבחן את ערכי האנטרופיה הבאים:

• האנטרופיה של צומת ההורה = 0.6
• האנטרופיה של צומת צאצא אחד עם 16 דוגמאות רלוונטיות = 0.2
• האנטרופיה של צומת צאצא אחר עם 24 דוגמאות רלוונטיות = 0.1

לכן, 40% מהדוגמאות נמצאות בצומת צאצא אחד ו-60% נמצאות בצומת הצאצא השני. לכן:

• סכום האנטרופיה המשוקללת של צומתי הצאצא = (‎0.4 * 0.2) + (‎0.6 * 0.1) = 0.14

לכן, הרווח במידע הוא:

• הרווח במידע = האנטרופיה של צומת האב – סכום האנטרופיה המשוקלל של צמתי הבן
• הרווח במידע = 0.6 – 0.14 = 0.46

רוב המספקים מנסים ליצור תנאים שממקסמים את הרווח מהמידע.

הטיה לטובת קבוצת השייכות

#responsible

העדפה של הקבוצה שאליה משתייכים או של מאפיינים אישיים. אם הבודקים או המדרגים הם חברים, בני משפחה או עמיתים של מפתח הלמידה החישובית, יכול להיות שהטיה בתוך הקבוצה תפסול את בדיקת המוצר או את מערך הנתונים.

הטיה לטובת קבוצת הפנים היא סוג של הטיית ייחוס לקבוצה. אפשר לעיין גם בהטיית הומוגניות של קבוצת חוץ.

מידע נוסף זמין במאמר הוגנות: סוגי הטיה בקורס המזורז ללימוד מכונת למידה.

מחולל קלט

מנגנון שבאמצעותו נתונים נטענים לתוך רשת נוירונים.

אפשר לחשוב על מחולל קלט כרכיב שאחראי לעיבוד נתונים גולמיים לטנסורים, שחוזרים עליהם כדי ליצור אצוות לאימון, להערכה ולהסקת מסקנות.

שכבת הקלט

#fundamentals

השכבה של רשת הנוירונים שמכילה את וקטור התכונות. כלומר, שכבת הקלט מספקת דוגמאות לאימון או להסקת מסקנות. לדוגמה, שכבת הקלט ברשת העצבית הבאה מורכבת משני מאפיינים:

תנאי בתוך קבוצה

#df

בעץ החלטות, תנאי שבודק אם פריט מסוים קיים בקבוצת פריטים. לדוגמה, התנאי הבא הוא תנאי בתוך קבוצה:

  house-style in [tudor, colonial, cape]

במהלך ההסקה, אם הערך של feature בסגנון הבית הוא tudor או colonial או cape, התנאי הזה מקבל את הערך Yes. אם הערך של התכונה house-style הוא משהו אחר (לדוגמה, ranch), התנאי הזה מוערך כ-No.

תנאים בתוך קבוצה בדרך כלל מובילים לעצי החלטה יעילים יותר מאשר תנאים שבודקים תכונות מקודדות בשיטת one-hot.

מכונה

מילה נרדפת לדוגמה.

התאמת מודל להנחיות

#generativeAI

סוג של כוונון עדין שמשפר את היכולת של מודל AI גנרטיבי לפעול לפי הוראות. כוונון לפי הוראות כולל אימון של מודל על סדרה של הנחיות, שלרוב מכסות מגוון רחב של משימות. המודל שמתקבל אחרי כוונון ההוראות נוטה ליצור תשובות שימושיות להנחיות ללא דוגמאות במגוון משימות.

השוואה וניגוד עם:

• כוונון יעיל בפרמטרים
• שיפור הנחיות

יכולת פירוש

#fundamentals

היכולת להסביר או להציג את הנימוקים של מודל למידת מכונה במונחים מובנים לאדם.

לדוגמה, רוב המודלים של רגרסיה לינארית ניתנים לפירוש בקלות. (צריך רק לבדוק את המשקלים שאומנו לכל תכונה). בנוסף, קל מאוד לפרש את התוצאות של יערות החלטה. עם זאת, כדי להבין חלק מהמודלים צריך להשתמש בהדמיה מתוחכמת.

אפשר להשתמש ב Learning Interpretability Tool (LIT) כדי לפרש מודלים של ML.

הסכמה בין מעריכים

#Metric

מדד שמשקף את התדירות שבה מעריכים אנושיים מסכימים ביניהם כשמבצעים משימה. אם יש חוסר הסכמה בין הבודקים, יכול להיות שצריך לשפר את הוראות המשימה. נקרא גם לפעמים הסכמה בין מבארים או מהימנות בין מעריכים. ראו גם את קאפה של כהן, שהוא אחד ממדדי ההסכמה הפופולריים ביותר בין מעריכים.

מידע נוסף זמין במאמר נתונים קטגוריים: בעיות נפוצות בקורס המקוצר על למידת מכונה.

חיתוך חלקי איחוד (IoU)

#image

החיתוך של שתי קבוצות חלקי האיחוד שלהן. במשימות של זיהוי תמונות באמצעות למידת מכונה, משתמשים ב-IoU כדי למדוד את הדיוק של תיבת התוחמת החזויה של המודל ביחס לתיבת התוחמת של האמת הבסיסית. במקרה כזה, חיתוך על איחוד (IoU) של שתי התיבות הוא היחס בין האזור החופף לבין האזור הכולל, והערך שלו נע בין 0 (אין חפיפה בין תיבת התוחמת החזויה לבין תיבת התוחמת של נתוני האמת) לבין 1 (תיבת התוחמת החזויה ותיבת התוחמת של נתוני האמת הן בעלות אותן קואורדינטות בדיוק).

לדוגמה, בתמונה שלמטה:

• תיבת התוחמת החזויה (הקואורדינטות שמגדירות את המיקום של שולחן הלילה בציור לפי התחזית של המודל) מודגשת בסגול.
• תיבת התוחמת של האמת הבסיסית (הקואורדינטות שמגדירות את המיקום האמיתי של שידת הלילה בציור) מודגשת בירוק.

בדוגמה הזו, החיתוך של תיבות התוחמות של החיזוי ושל נתוני האמת (משמאל למטה) הוא 1, והאיחוד של תיבות התוחמות של החיזוי ושל נתוני האמת (מימין למטה) הוא 7, ולכן IoU הוא \(\frac{1}{7}\).

IoU

קיצור של intersection over union (חיתוך חלקי איחוד).

מטריצת פריטים

#recsystems

במערכות המלצות, מטריצה של ווקטורים של הטמעה שנוצרו על ידי פירוק מטריצות שמכילה אותות סמויים לגבי כל פריט. כל שורה במטריצת הפריטים מכילה את הערך של תכונה סמויה אחת לכל הפריטים. לדוגמה, נניח שיש מערכת להמלצות על סרטים. כל עמודה במטריצת הפריטים מייצגת סרט אחד. האותות הסמויים יכולים לייצג ז'אנרים, או להיות אותות שקשה יותר לפרש אותם, שכוללים אינטראקציות מורכבות בין ז'אנר, כוכבים, גיל הסרט או גורמים אחרים.

למטריצת הפריטים יש אותו מספר עמודות כמו למטריצת היעד שמפורקת לגורמים. לדוגמה, אם יש מערכת המלצות לסרטים שמעריכה 10,000 שמות של סרטים, מטריצת הפריטים תכלול 10,000 עמודות.

פריטים

#recsystems

במערכת המלצות, הישויות שהמערכת ממליצה עליהן. לדוגמה, סרטונים הם הפריטים שחנות וידאו ממליצה עליהם, בעוד שספרים הם הפריטים שחנות ספרים ממליצה עליהם.

איטרציה

#fundamentals

עדכון יחיד של הפרמטרים של מודל – המשקולות וההטיות של המודל – במהלך האימון. ההגדרה batch size קובעת כמה דוגמאות המודל מעבד באיטרציה אחת. לדוגמה, אם גודל האצווה הוא 20, המודל מעבד 20 דוגמאות לפני התאמת הפרמטרים.

כשמאמנים רשת נוירונים, איטרציה אחת כוללת את שני השלבים הבאים:

1. העברה קדימה כדי להעריך את ההפסד באצווה אחת.
2. מעבר לאחור (backpropagation) כדי לשנות את הפרמטרים של המודל על סמך הפסד וקצב הלמידה.

מידע נוסף זמין במאמר בנושא Gradient descent בקורס Machine Learning Crash Course.

J

JAX

ספרייה של מחשוב מערכים, שמשלבת בין XLA (אלגברה לינארית מואצת) לבין דיפרנציאציה אוטומטית, למחשוב נומרי עתיר ביצועים. ‫JAX מספק API פשוט ועוצמתי לכתיבת קוד נומרי מואץ עם טרנספורמציות שניתנות להרכבה. ‫JAX כולל תכונות כמו:

• grad (הבחנה אוטומטית)
• ‫jit (just-in-time compilation)
• vmap (וקטוריזציה אוטומטית או אצווה)
• pmap (מקביליות)

‫JAX היא שפה להבעה וליצירה של טרנספורמציות של קוד נומרי, בדומה לספריית NumPy של Python, אבל בהיקף גדול בהרבה. (למעשה, ספריית ‎ .numpy ב-JAX היא גרסה שוות-ערך מבחינת פונקציונלית, אבל שנכתבה מחדש לחלוטין של ספריית Python NumPy).

‫JAX מתאים במיוחד להאצת משימות רבות של למידת מכונה, כי הוא הופך את המודלים והנתונים לפורמט שמתאים להרצה מקבילית ב-GPU ובשבבי האצה TPU.

‫Flax,‏ Optax,‏ Pax וספריות רבות אחרות מבוססות על תשתית JAX.

K

Keras

ממשק API פופולרי ללמידת מכונה ב-Python. ‫Keras פועל במסגרות שונות של למידה עמוקה, כולל TensorFlow, שבו הוא זמין כ-tf.keras.

מכונות וקטוריות לתמיכה בקרנל (KSVM)

אלגוריתם סיווג שמנסה למקסם את השוליים בין סיווגים חיוביים לבין סיווגים שליליים על ידי מיפוי וקטורים של נתוני קלט למרחב רב-ממדי. לדוגמה, נניח שיש בעיית סיווג שבה מערך הנתונים של הקלט כולל מאה מאפיינים. כדי למקסם את השוליים בין מחלקות חיוביות ושליליות, יכול להיות ש-KSVM ימפה את התכונות האלה באופן פנימי למרחב של מיליון ממדים. ב-KSVM נעשה שימוש בפונקציית הפסד שנקראת hinge loss.

נקודות מרכזיות

#image

הקואורדינטות של תכונות מסוימות בתמונה. לדוגמה, במודל של זיהוי תמונות שמבחין בין מיני פרחים, נקודות מרכזיות יכולות להיות מרכז כל עלה כותרת, הגבעול, האבקן וכן הלאה.

אימות צולב k-fold

אלגוריתם לחיזוי היכולת של מודל ליצור כלל שרלוונטי לנתונים חדשים. האות k ב-k-fold מתייחסת למספר הקבוצות השוות שאליהן מחלקים את הדוגמאות של מערך נתונים. כלומר, מאמנים את המודל ובודקים אותו k פעמים. בכל סבב של אימון ובדיקה, קבוצה אחרת היא קבוצת הבדיקה, וכל הקבוצות הנותרות הופכות לקבוצת האימון. אחרי k סבבים של אימון ובדיקה, מחשבים את הממוצע ואת סטיית התקן של המדדים שנבחרו לבדיקה.

לדוגמה, נניח שקבוצת הנתונים שלכם מורכבת מ-120 דוגמאות. נניח שאתם מחליטים להגדיר את k ל-4. לכן, אחרי ערבוב הדוגמאות, מחלקים את מערך הנתונים לארבע קבוצות שוות של 30 דוגמאות ומבצעים ארבעה סבבים של אימון ובדיקה:

לדוגמה, הטעות הריבועית הממוצעת (MSE) עשויה להיות המדד הכי משמעותי למודל רגרסיה לינארית. לכן, צריך לחשב את הממוצע ואת סטיית התקן של ה-MSE בכל ארבעת הסיבובים.

k-means

#clustering

אלגוריתם פופולרי של אשכולות שמקבץ דוגמאות בלמידה לא מפוקחת. האלגוריתם k-means מבצע את הפעולות הבאות:

• האלגוריתם קובע באופן איטרטיבי את k הנקודות המרכזיות הטובות ביותר (שנקראות מרכזי מסה).
• משייכת כל דוגמה למרכז המסה הקרוב ביותר. הדוגמאות הכי קרובות לאותו מרכז מסה שייכות לאותה קבוצה.

אלגוריתם k-means בוחר מיקומים של מרכזי מסה כדי למזער את הריבוע המצטבר של המרחקים מכל דוגמה למרכז המסה הקרוב ביותר שלה.

לדוגמה, נניח שיש לנו את הנתונים הבאים של גובה הכלב ביחס לרוחב הכלב:

אם k=3, אלגוריתם k-means יקבע שלושה מרכזים. כל דוגמה מוקצית למרכז המסה הקרוב ביותר שלה, וכך מתקבלות שלוש קבוצות:

נניח שיצרן רוצה לקבוע את המידות האידיאליות לסוודרים קטנים, בינוניים וגדולים לכלבים. שלושת המרכזים מזהים את הגובה הממוצע ואת הרוחב הממוצע של כל כלב באותו אשכול. לכן, כדאי ליצרן לבסס את מידות הסוודרים על שלושת מרכזי המסה האלה. חשוב לזכור שמרכז הכובד של אשכול בדרך כלל לא מייצג דוגמה באשכול.

האיורים הקודמים מציגים את k-means לדוגמאות עם שני מאפיינים בלבד (גובה ורוחב). הערה: אלגוריתם k-means יכול לקבץ דוגמאות לפי הרבה מאפיינים.

מידע נוסף זמין במאמר מהו אשכול k-means? בקורס בנושא אשכולות.

k-median

#clustering

אלגוריתם קיבוץ באשכולות שקשור קשר הדוק ל-k-means. ההבדל המעשי בין שניהם:

• בשיטת k-means, הצנטרואידים נקבעים על ידי מזעור סכום הריבועים של המרחק בין צנטרואיד פוטנציאלי לבין כל אחת מהדוגמאות שלו.
• בשיטת k-median, מרכזי המסה נקבעים על ידי מזעור סכום המרחק בין מרכז מסה פוטנציאלי לבין כל אחת מהדוגמאות שלו.

שימו לב גם להבדלים בהגדרות של המרחק:

• אלגוריתם k-means מסתמך על המרחק האוקלידי מהצנטרואיד לדוגמה. (בדו-ממד, המרחק האוקלידי הוא המרחק שמתקבל באמצעות משפט פיתגורס לחישוב היתר). לדוגמה, המרחק בין (2,2) לבין (5,-2) בשיטת k-means הוא:

$$ {\text{Euclidean distance}} = {\sqrt {(2-5)^2 + (2--2)^2}} = 5 $$

• אלגוריתם k-median מסתמך על מרחק מנהטן מהצנטרואיד לדוגמה. המרחק הזה הוא סכום הדלתאות המוחלטות בכל מאפיין. לדוגמה, המרחק בין (2,2) לבין (5,-2) בשיטת k-median יהיה:

$$ {\text{Manhattan distance}} = \lvert 2-5 \rvert + \lvert 2--2 \rvert = 7 $$

L

רגולריזציה (regularization) מסוג L₀

#fundamentals

סוג של רגולריזציה שמעניש את המספר הכולל של משקלים שאינם אפס במודל. לדוגמה, מודל עם 11 משקלים שונים מאפס ייענש יותר ממודל דומה עם 10 משקלים שונים מאפס.

רגולריזציה מסוג L₀ נקראת לפעמים רגולריזציה מסוג L0-norm.

כדי לראות הערות נוספות, לוחצים על הסמל.

_{בדרך כלל, רגולריזציה מסוג L0 לא מעשית במודלים גדולים, כי היא הופכת את האימון לבעיית אופטימיזציה קמורה.}

---

הפסד ברמה ₁

#fundamentals

#Metric

פונקציית הפסד שמחשבת את הערך המוחלט של ההפרש בין ערכי התוויות בפועל לבין הערכים שמודל חוזה. לדוגמה, הנה החישוב של הפסד L₁ עבור batch של חמש דוגמאות:

ערך בפועל לדוגמה	הערך שהמודל חזה	הערך המוחלט של השינוי
7	6	1
5	4	1
8	11	3
4	6	2
9	8	1
		‫8 = הפסד L1

הפונקציה L₁ loss פחות רגישה לערכים חריגים מאשר הפונקציה _L2 loss.

השגיאה הממוצעת המוחלטת היא הפסד _L1 הממוצע לכל דוגמה.

כדי לראות את המתמטיקה הפורמלית, לוחצים על הסמל.

$$ L_1 loss = \sum_{i=0}^n | y_i - \hat{y}_i |$$

כאשר:

• ‫$n$ הוא מספר הדוגמאות.
• ‫$y$ הוא הערך בפועל של התווית.
• ‫$\hat{y}$ הוא הערך שהמודל חוזה עבור $y$.

---

מידע נוסף זמין במאמר רגרסיה ליניארית: הפסד בסדנה בנושא למידת מכונה.

רגולריזציה מסוג L₁

#fundamentals

סוג של רגולריזציה שמענישה משקלים באופן יחסי לסכום הערך המוחלט של המשקלים. רגולריזציה מסוג L₁ עוזרת להקטין את המשקלים של תכונות לא רלוונטיות או רלוונטיות במידה מועטה ל-0 בדיוק. תכונה עם משקל 0 למעשה מוסרת מהמודל.

השוואה לרגולריזציה מסוג L₂.

הפסד L₂

#fundamentals

#Metric

פונקציית הפסד שמחשבת את ריבוע ההפרש בין ערכי התוויות בפועל לבין הערכים שהמודל חוזה. לדוגמה, כך מחשבים את הפסד L₂ עבור קבוצה של חמש דוגמאות:

ערך בפועל לדוגמה	הערך שהמודל חזה	ריבוע של דלתא
7	6	1
5	4	1
8	11	9
4	6	4
9	8	1
		‫16 = L2 loss

בגלל ההעלאה בריבוע, הפסד L₂ מגביר את ההשפעה של ערכים חריגים. כלומר, הפסד L₂ מגיב בעוצמה רבה יותר לחיזויים לא טובים מאשר הפסד L₁. לדוגמה, ערך הפסד L₁ עבור האצווה הקודמת יהיה 8 ולא 16. שימו לב שערך חריג אחד מייצג 9 מתוך 16.

מודלים של רגרסיה משתמשים בדרך כלל בהפסד L₂ כפונקציית ההפסד.

השגיאה הריבועית הממוצעת היא הפסד _L2 הממוצע לכל דוגמה. שגיאה בריבוע הוא שם נוסף לשגיאת L₂.

כדי לראות את המתמטיקה הפורמלית, לוחצים על הסמל.

$$ L_2 loss = \sum_{i=0}^n {(y_i - \hat{y}_i)}^2$$

כאשר:

• ‫$n$ הוא מספר הדוגמאות.
• ‫$y$ הוא הערך בפועל של התווית.
• ‫$\hat{y}$ הוא הערך שהמודל חוזה עבור $y$.

---

מידע נוסף זמין במאמר Logistic regression: Loss and regularization (רגרסיה לוגיסטית: הפסד ורגולריזציה) בסדנה בנושא למידת מכונה.

רגולריזציה (regularization) של L₂

#fundamentals

סוג של רגולריזציה שמעניש משקלים באופן יחסי לסכום הריבועים של המשקלים. רגולריזציה מסוג L₂ עוזרת להסיט משקלים של ערכים חריגים (ערכים חיוביים גבוהים או ערכים שליליים נמוכים) קרוב יותר ל-0, אבל לא בדיוק ל-0. תכונות עם ערכים שקרובים מאוד ל-0 נשארות במודל, אבל לא משפיעות על התחזית של המודל.

רגולריזציה מסוג L₂ תמיד משפרת את ההכללה במודלים ליניאריים.

השוואה לרגולריזציה מסוג _L1.

מידע נוסף זמין במאמר התאמת יתר: רגולריזציה מסוג L2 בקורס המקוצר על למידת מכונה.

תווית

#fundamentals

בלמידת מכונה מפוקחת, החלק של ה"תשובה" או ה "תוצאה" בדוגמה.

כל דוגמה מתויגת מורכבת ממאפיין אחד או יותר ומתווית. לדוגמה, במערך נתונים לזיהוי ספאם, התווית תהיה כנראה 'ספאם' או 'לא ספאם'. במערך נתונים של גשמים, התווית יכולה להיות כמות הגשם שירדה במהלך תקופה מסוימת.

מידע נוסף זמין במאמר Supervised Learning (למידה מפוקחת) בסדרה Introduction to Machine Learning (מבוא ללמידת מכונה).

דוגמה מסומנת בתווית

#fundamentals

דוגמה שמכילה תכונה אחת או יותר ותווית. לדוגמה, בטבלה הבאה מוצגות שלוש דוגמאות מתויגות ממודל להערכת שווי של בית, כל אחת עם שלוש תכונות ותווית אחת:

מספר חדרי שינה	מספר חדרי אמבטיה	גיל הבית	מחיר הבית (תווית)
3	2	15	$345,000
2	1	72	$179,000
4	2	34	$392,000

בלמידת מכונה מבוקרת, מודלים מתאמנים על דוגמאות מתויגות ומבצעים חיזויים על דוגמאות לא מתויגות.

השוואה בין דוגמה עם תוויות לבין דוגמאות ללא תוויות.

מידע נוסף זמין במאמר Supervised Learning (למידה מפוקחת) בסדרה Introduction to Machine Learning (מבוא ללמידת מכונה).

דליפת תוויות

פגם בתכנון המודל שבו תכונה משמשת כפרוקסי לתווית. לדוגמה, נניח שיש מודל של סיווג בינארי שמנבא אם לקוח פוטנציאלי ירכוש מוצר מסוים. נניח שאחת מהתכונות של המודל היא בוליאנית בשם SpokeToCustomerAgent. נניח גם שסוכן שירות לקוחות מוקצה אחרי שהלקוח הפוטנציאלי רכש את המוצר בפועל. במהלך האימון, המודל ילמד במהירות את הקשר בין SpokeToCustomerAgent לתווית.

מידע נוסף זמין במאמר מעקב אחרי צינורות נתונים בקורס המקוצר על למידת מכונה.

lambda

#fundamentals

מילה נרדפת ל-regularization rate.

המונח Lambda הוא מונח עמוס. במאמר הזה נתמקד בהגדרה של המונח רגולריזציה.

‫LaMDA (מודל שפה ליישומי דיאלוג)

#language

מודל שפה גדול מבוסס Transformer שפותח על ידי Google ואומן על מערך נתונים גדול של דיאלוגים, ויכול ליצור תשובות ריאליסטיות לשיחות.

LaMDA: our breakthrough conversation technology (LaMDA: הטכנולוגיה פורצת הדרך שלנו לשיחות) מספק סקירה כללית.

ציוני דרך

#image

מילה נרדפת ל-keypoints.

מודל שפה

#language

מודל שמעריך את ההסתברות שטוקן או רצף של טוקנים יופיעו ברצף ארוך יותר של טוקנים.

כדי לראות הערות נוספות, לוחצים על הסמל.

למרות שזה נשמע לא הגיוני, הרבה מודלים שמבצעים הערכה של טקסט הם לא מודלים של שפה. לדוגמה, מודלים לסיווג טקסט ומודלים לניתוח סנטימנטים הם לא מודלים של שפה.

---

מידע נוסף זמין במאמר מהו מודל שפה? בקורס המקוצר על למידת מכונה.

מודל שפה גדול

#language

לפחות, מודל שפה עם מספר גבוה מאוד של פרמטרים. באופן לא רשמי, כל מודל שפה שמבוסס על Transformer, כמו Gemini או GPT.

מידע נוסף זמין במאמר מודלים גדולים של שפה (LLM) בקורס המקוצר על למידת מכונה.

זמן אחזור

#generativeAI

הזמן שלוקח למודל לעבד קלט וליצור תשובה. תשובה עם זמן אחזור גבוה לוקחת יותר זמן ליצירה מאשר תשובה עם זמן אחזור נמוך.

בין הגורמים שמשפיעים על זמן האחזור של מודלים גדולים של שפה:

• אורכי [טוקנים] של קלט ופלט
• מורכבות המודל
• התשתית שבה המודל פועל

אופטימיזציה של זמן האחזור היא חיונית ליצירת אפליקציות רספונסיביות וידידותיות למשתמש.

מרחב לטנטי

#language

מילה נרדפת למרחב הטמעה.

שכבה

#fundamentals

קבוצה של נוירונים ברשת נוירונים. שלושה סוגים נפוצים של שכבות:

• שכבת הקלט, שמספקת ערכים לכל התכונות.
• שכבות מוסתרות אחת או יותר, שמוצאות קשרים לא לינאריים בין התכונות לבין התווית.
• שכבת הפלט, שמספקת את החיזוי.

לדוגמה, באיור הבא מוצג רשת עצבית עם שכבת קלט אחת, שתי שכבות נסתרות ושכבת פלט אחת:

ב-TensorFlow, שכבות הן גם פונקציות Python שמקבלות טנסורים ואפשרויות הגדרה כקלט, ומפיקות טנסורים אחרים כפלט.

‫Layers API ‏ (tf.layers)

#TensorFlow

‫TensorFlow API ליצירת רשת עצבית עמוקה כהרכב של שכבות. ‫Layers API מאפשר לכם ליצור סוגים שונים של שכבות, למשל:

• ‫tf.layers.Dense עבור שכבה שמקושרת באופן מלא.
• ‫tf.layers.Conv2D לשכבת קונבולוציה.

ממשק ה-API של Layers פועל לפי מוסכמות ממשק ה-API של שכבות Keras. כלומר, מלבד קידומת שונה, לכל הפונקציות ב-Layers API יש את אותם שמות וחתימות כמו הפונקציות המקבילות ב-Keras layers API.

עלה

#df

כל נקודת סיום בעץ החלטות. בניגוד לתנאי, צומת עלה לא מבצע בדיקה. במקום זאת, עלה הוא תחזית אפשרית. עלה הוא גם צומת סופית של נתיב הסקה.

לדוגמה, עץ ההחלטה הבא מכיל שלושה עלים:

מידע נוסף זמין במאמר עצי החלטה בקורס בנושא יערות החלטה.

Learning Interpretability Tool (LIT)‎

כלי אינטראקטיבי להצגה חזותית של נתונים ולהבנת מודלים.

אתם יכולים להשתמש ב-LIT בקוד פתוח כדי לפרש מודלים או כדי להציג נתונים טקסטואליים, נתונים של תמונות ונתונים טבלאיים.

קצב למידה

#fundamentals

מספר נקודה צפה שמציין לאלגוריתם gradient descent עד כמה לשנות את המשקלים וההטיות בכל iteration. לדוגמה, שיעור למידה של 0.3 יתאים את המשקלים וההטיות בעוצמה גדולה פי 3 בהשוואה לשיעור למידה של 0.1.

קצב הלמידה הוא היפר-פרמטר מרכזי. אם מגדירים את קצב הלמידה נמוך מדי, האימון יימשך זמן רב מדי. אם קצב הלמידה מוגדר גבוה מדי, לעיתים קרובות קשה לשיטת גרדיאנט ירידה להגיע להתכנסות.

כדי לקבל הסבר מתמטי יותר, לוחצים על הסמל.

במהלך כל איטרציה, האלגוריתם gradient descent מכפיל את שיעור הלמידה בשיפוע. המוצר שמתקבל נקרא שלב הגרדיאנט.

---

מידע נוסף זמין במאמר רגרסיה ליניארית: היפר-פרמטרים בקורס המקוצר על למידת מכונה.

רגרסיה של הריבועים הפחותים

מודל רגרסיה ליניארית שאומן על ידי מזעור הפסד L₂.

מרחק לוינשטיין

#language

#metric

מדד מרחק העריכה שמחשב את מספר הפעולות המינימלי של מחיקה, הוספה והחלפה שנדרשות כדי לשנות מילה אחת למילה אחרת. לדוגמה, מרחק לוינשטיין בין המילים "heart" ו-"darts" הוא שלוש, כי אלה שלושת השינויים המינימליים שצריך לבצע כדי להפוך מילה אחת לשנייה:

1. לב ← דלב (החלפת האות 'ל' באות 'ד')
2. deart → dart (מחיקת האות e)
3. dart → darts (insert "s")

חשוב לזכור שהרצף הקודם הוא לא הדרך היחידה לבצע שלושה שינויים.

ליניארי

#fundamentals

קשר בין שני משתנים או יותר שאפשר לייצג רק באמצעות חיבור וכפל.

הגרף של קשר לינארי הוא קו.

ההפך מלא לינארי.

מודל לינארי

#fundamentals

מודל שמקצה משקל אחד לכל מאפיין כדי ליצור תחזיות. (מודלים לינאריים כוללים גם הטיה). לעומת זאת, הקשר בין התכונות לבין התחזיות במודלים עמוקים הוא בדרך כלל לא לינארי.

בדרך כלל קל יותר לאמן מודלים לינאריים והם ניתנים יותר לפירוש ממודלים עמוקים. עם זאת, מודלים עמוקים יכולים ללמוד קשרים מורכבים בין תכונות.

רגרסיה לינארית ורגרסיה לוגיסטית הם שני סוגים של מודלים לינאריים.

כדי לראות את המתמטיקה, לוחצים על הסמל.

מודל לינארי פועל לפי הנוסחה הבאה:

$$y' = b + w_1x_1 + w_2x_2 + … w_nx_n$$

כאשר:

• ‫y' הוא החיזוי הגולמי. (בסוגים מסוימים של מודלים לינאריים, התחזית הגולמית הזו תעבור שינוי נוסף. לדוגמה, ראו רגרסיה לוגיסטית.)
• ‫b הוא ההטיה.
• ‫w הוא משקל, לכן w₁ הוא המשקל של התכונה הראשונה, w₂ הוא המשקל של התכונה השנייה וכן הלאה.
• ‫x הוא מאפיין, לכן x₁ הוא הערך של המאפיין הראשון, x₂ הוא הערך של המאפיין השני וכן הלאה.

לדוגמה, נניח שמודל לינארי עם שלושה מאפיינים לומד את ההטיה והמשקלים הבאים:

• b = 7
• ‫w₁ = -2.5
• w₂ = -1.2
• w₃ = 1.4

לכן, בהינתן שלוש תכונות (x₁, x₂ ו-x₃), המודל הליניארי משתמש במשוואה הבאה כדי ליצור כל תחזית:

y' = 7 + (-2.5)(x1) + (-1.2)(x2) + (1.4)(x3)

נניח שדוגמה מסוימת מכילה את הערכים הבאים:

• x₁ = 4
• x₂ = -10
• x₃ = 5

אם מציבים את הערכים האלה בנוסחה, מקבלים את התחזית הבאה לדוגמה הזו:

y' = 7 + (-2.5)(4) + (-1.2)(-10) + (1.4)(5)
y' = 16

מודלים ליניאריים כוללים לא רק מודלים שמשתמשים רק במשוואה ליניארית כדי ליצור תחזיות, אלא גם קבוצה רחבה יותר של מודלים שמשתמשים במשוואה ליניארית כרכיב אחד בלבד בנוסחה שיוצרת תחזיות. לדוגמה, רגרסיה לוגיסטית מעבדת את התחזית הגולמית (y') כדי ליצור ערך תחזית סופי בין 0 ל-1, לא כולל.

---

רגרסיה לינארית

#fundamentals

סוג של מודל למידת מכונה שבו מתקיימים שני התנאים הבאים:

• המודל הוא מודל לינארי.
• החיזוי הוא ערך נקודה צפה (floating-point). (זהו החלק של הרגרסיה ברגרסיה לינארית).

השוואה בין רגרסיה לינארית לבין רגרסיה לוגיסטית. כדאי גם להשוות בין רגרסיה לבין סיווג.

מידע נוסף זמין במאמר בנושא רגרסיה לינארית בקורס המקוצר על למידת מכונה.

LIT

קיצור של Learning Interpretability Tool (LIT), שנקרא בעבר Language Interpretability Tool (כלי להסבר שפה).

LLM

#language

#generativeAI

קיצור של מודל שפה גדול.

הערכות של LLM

#language

#generativeAI

#Metric

קבוצה של מדדים ונקודות השוואה להערכת הביצועים של מודלים גדולים של שפה (LLM). ברמת העל, הערכות של מודלים גדולים של שפה (LLM):

• לעזור לחוקרים לזהות תחומים שבהם צריך לשפר את מודלי ה-LLM.
• הם שימושיים להשוואה בין מודלי שפה גדולים שונים ולזיהוי מודל השפה הגדול הטוב ביותר למשימה מסוימת.
• עוזרים לוודא שהשימוש במודלים גדולים של שפה (LLM) הוא בטוח ואתי.

מידע נוסף זמין במאמר מודלים גדולים של שפה (LLM) בקורס המקוצר על למידת מכונה.

רגרסיה לוגיסטית

#fundamentals

סוג של מודל רגרסיה שמנבא הסתברות. למודלים של רגרסיה לוגיסטית יש את המאפיינים הבאים:

• התווית היא קטגורית. המונח רגרסיה לוגיסטית מתייחס בדרך כלל לרגרסיה לוגיסטית בינארית, כלומר למודל שמחשב הסתברויות לתוויות עם שני ערכים אפשריים. וריאנט פחות נפוץ, רגרסיה לוגיסטית מולטינומיאלית, מחשב הסתברויות לתוויות עם יותר משני ערכים אפשריים.
• פונקציית האובדן במהלך האימון היא Log Loss. (אפשר להציב כמה יחידות של Log Loss במקביל לתוויות עם יותר משני ערכים אפשריים).
• למודל יש ארכיטקטורה לינארית, ולא רשת עצבית עמוקה. עם זאת, שאר ההגדרה הזו חלה גם על מודלים עמוקים שמנבאים הסתברויות של תוויות קטגוריות.

לדוגמה, נניח שיש מודל רגרסיה לוגיסטית שמחשב את ההסתברות לכך שאימייל קלט הוא ספאם או לא ספאם. במהלך ההסקה, נניח שהמודל חוזה 0.72. לכן, המודל מעריך:

• סיכוי של 72% שהאימייל הוא ספאם.
• יש סיכוי של 28% שהאימייל לא ספאם.

מודל רגרסיה לוגיסטית משתמש בארכיטקטורה הבאה בת שני השלבים:

1. המודל יוצר חיזוי גולמי (y') על ידי הפעלת פונקציה לינארית של תכונות קלט.
2. המודל משתמש בתחזית הגולמית כקלט לפונקציית סיגמואיד, שממירה את התחזית הגולמית לערך בין 0 ל-1, לא כולל.

בדומה לכל מודל רגרסיה, מודל רגרסיה לוגיסטית חוזה מספר. עם זאת, המספר הזה בדרך כלל הופך לחלק ממודל סיווג בינארי באופן הבא:

• אם המספר החזוי גדול מסף הסיווג, מודל הסיווג הבינארי חוזה את המחלקה החיובית.
• אם המספר החזוי נמוך מסף הסיווג, מודל הסיווג הבינארי חוזה את המחלקה השלילית.

מידע נוסף זמין במאמר רגרסיה לוגיסטית בקורס המקוצר על למידת מכונה.

לוגיטים

הווקטור של התחזיות הגולמיות (לא מנורמלות) שמודל סיווג יוצר, שבדרך כלל מועבר לפונקציית נרמול. אם המודל פותר בעיה של סיווג רב-מחלקתי, בדרך כלל הלוגיטים הופכים לקלט של פונקציית softmax. לאחר מכן, פונקציית ה-softmax יוצרת וקטור של הסתברויות (מנורמלות) עם ערך אחד לכל מחלקה אפשרית.

אובדן לוגריתמי

#fundamentals

פונקציית ההפסד שמשמשת ברגרסיה לוגיסטית בינארית.

כדי לראות את המתמטיקה, לוחצים על הסמל.

הנוסחה הבאה משמשת לחישוב של Log Loss:

$$\text{Log Loss} = \sum_{(x,y)\in D} -y\log(y') - (1 - y)\log(1 - y')$$

כאשר:

• ‫ \((x,y)\in D\) הוא מערך הנתונים שמכיל הרבה דוגמאות מתויגות, שהן זוגות של \((x,y)\) .
• ‫ \(y\) היא התווית בדוגמה המתויגת. מכיוון שמדובר ברגרסיה לוגיסטית, כל ערך של \(y\) חייב להיות 0 או 1.
• ‫ \(y'\) הוא הערך החזוי (בין 0 ל-1, לא כולל), בהינתן קבוצת התכונות ב- \(x\).

---

מידע נוסף זמין במאמר Logistic regression: Loss and regularization (רגרסיה לוגיסטית: אובדן ורגולריזציה) בתוכנית Machine Learning Crash Course (מבוא ללמידת מכונה).

יחס הלוגים

#fundamentals

הלוגריתם של הסיכויים לאירוע מסוים.

כדי לראות את המתמטיקה, לוחצים על הסמל.

אם האירוע הוא הסתברות בינארית, אז odds מתייחס ליחס בין ההסתברות להצלחה (p) לבין ההסתברות לכישלון (1-p). לדוגמה, נניח שלאירוע מסוים יש סיכוי של 90% להצלחה וסיכוי של 10% לכישלון. במקרה הזה, הסיכויים מחושבים כך:

$$ {\text{odds}} = \frac{\text{p}} {\text{(1-p)}} = \frac{.9} {.1} = {\text{9}} $$

הלוגריתם של הסיכויים הוא פשוט הלוגריתם של הסיכויים. לפי המוסכמה, המונח 'לוגריתם' מתייחס ללוגריתם טבעי, אבל לוגריתם יכול להיות למעשה כל בסיס שגדול מ-1. בהתאם למוסכמה, הלוג-אודס של הדוגמה שלנו הוא:

$$ {\text{log-odds}} = ln(9) ~= 2.2 $$

פונקציית הלוג-אודס היא ההופכי של פונקציית הסיגמואיד.

---

זיכרון ארוך לטווח קצר (LSTM)

#seq

סוג של תא ברשת נוירונים חוזרת שמשמש לעיבוד רצפים של נתונים באפליקציות כמו זיהוי כתב יד, תרגום מכונה וכתיבת כתוביות לתמונות. ‫LSTM פותרת את בעיית הגרדיאנט הנעלם שמתרחשת במהלך אימון של רשתות RNN בגלל רצפים ארוכים של נתונים. היא עושה זאת על ידי שמירת היסטוריה במצב זיכרון פנימי שמבוסס על קלט חדש והקשר מתאים קודמים ברשת ה-RNN.

LoRA

#language

#generativeAI

קיצור של Low-Rank Adaptability (התאמה לדרגה נמוכה).

ירידה

#fundamentals

#Metric

במהלך האימון של מודל בפיקוח, נמדד המרחק בין התחזית של המודל לבין התווית שלו.

פונקציית הפסד מחשבת את ההפסד.

מידע נוסף זמין במאמר רגרסיה ליניארית: הפסד בסדנה בנושא למידת מכונה.

אתר אגרגטור של הפסדים

סוג של אלגוריתם למידת מכונה שמשפר את הביצועים של מודל על ידי שילוב התחזיות של כמה מודלים ושימוש בתחזיות האלה כדי ליצור תחזית אחת. כתוצאה מכך, מצטבר הפסדים יכול להפחית את השונות של התחזיות ולשפר את הדיוק של התחזיות.

עקומת הפסד

#fundamentals

תרשים של הפסד כפונקציה של מספר האיטרציות של האימון. התרשים הבא מציג עקומת הפסד אופיינית:

עקומות הפסד יכולות לעזור לכם לקבוע מתי המודל מתכנס או מתאים יתר על המידה.

עקומות הפסד יכולות להציג את כל סוגי ההפסד הבאים:

• הפסד האימון
• הפסד האימות
• test loss

אפשר לעיין גם בעקומת ההכללה.

מידע נוסף מופיע במאמר התאמת יתר: פירוש עקומות הפסד בסדנה ללימוד מכונת למידה.

פונקציית אובדן

#fundamentals

#Metric

במהלך האימון או הבדיקה, פונקציה מתמטית שמחשבת את ההפסד באצווה של דוגמאות. פונקציית הפסד מחזירה ערך הפסד נמוך יותר למודלים שמבצעים חיזויים טובים מאשר למודלים שמבצעים חיזויים לא טובים.

המטרה של האימון היא בדרך כלל למזער את ההפסד שמוחזר על ידי פונקציית הפסד.

קיימים סוגים רבים ושונים של פונקציות אובדן. בוחרים את פונקציית ההפסד המתאימה לסוג המודל שאתם בונים. לדוגמה:

• הפונקציה אובדן _L2 (או השגיאה הריבועית הממוצעת) היא פונקציית האובדן של רגרסיה ליניארית.
• Log Loss היא פונקציית האובדן של רגרסיה לוגיסטית.

משטח הפסד

תרשים של משקלים לעומת הפסד. Gradient descent aims to find the weight(s) for which the loss surface is at a local minimum.

התאמה בדרגה נמוכה (LoRA)

#language

#generativeAI

טכניקה יעילה מבחינת פרמטרים לכוונון עדין שבה המערכת 'מקפיאה' את המשקולות של המודל שעבר אימון מראש (כך שאי אפשר יותר לשנות אותן), ואז מוסיפה למודל קבוצה קטנה של משקולות שאפשר לאמן. קבוצת המשקלים שאפשר לאמן (שנקראת גם 'מטריצות עדכון') קטנה משמעותית ממודל הבסיס, ולכן האימון שלה מהיר הרבה יותר.

היתרונות של LoRA:

• משפר את איכות התחזיות של מודל עבור הדומיין שבו מוחל הכוונון העדין.
• השיטה הזו מאפשרת לבצע התאמה עדינה מהר יותר מאשר שיטות שדורשות התאמה עדינה של כל הפרמטרים של המודל.
• האפשרות הזו מפחיתה את עלות החישוב של הסקת מסקנות על ידי הפעלה של הצגה בו-זמנית של כמה מודלים מיוחדים שמשתפים את אותו מודל בסיס.

כדי לקבל מידע נוסף על מטריצות עדכון ב-LoRA, לוחצים על הסמל.

מטריצות העדכון שמשמשות ב-LoRA מורכבות ממטריצות פירוק של דרגה, שנגזרות ממודל הבסיס כדי לעזור לסנן רעשי רקע ולהתמקד באימון של התכונות החשובות ביותר במודל.

---

LSTM

#seq

קיצור של Long Short-Term Memory (זיכרון לטווח קצר וארוך).

M

למידה חישובית

#fundamentals

תוכנה או מערכת שמאמנת מודל מנתוני קלט. המודל שעבר אימון יכול לבצע חיזויים שימושיים מנתונים חדשים (שלא נראו אף פעם) שנלקחו מאותו פיזור ששימש לאימון המודל.

למידת מכונה היא גם תחום המחקר שעוסק בתוכנות או במערכות האלה.

מידע נוסף זמין בקורס מבוא ללמידת מכונה.

תרגום אוטומטי

#generativeAI

שימוש בתוכנה (בדרך כלל, מודל למידת מכונה) כדי להמיר טקסט משפה אנושית אחת לשפה אנושית אחרת, למשל מאנגלית ליפנית.

מחלקה עם רוב

#fundamentals

התווית הנפוצה יותר במערך נתונים עם חוסר איזון בין מחלקות. לדוגמה, אם קבוצת נתונים מכילה 99% תוויות שליליות ו-1% תוויות חיוביות, התוויות השליליות הן מחלקת הרוב.

בניגוד לקבוצת מיעוט.

מידע נוסף זמין במאמר מערכי נתונים: מערכי נתונים לא מאוזנים בסדנה ללימוד מכונת למידה.

תהליך קבלת החלטות של מרקוב (MDP)

#rl

תרשים שמייצג את מודל קבלת ההחלטות, שבו מתקבלות החלטות (או פעולות) כדי לנווט ברצף של מצבים, בהנחה שמאפיין מרקוב מתקיים. בלמידת חיזוק, המעברים האלה בין מצבים מחזירים תגמול מספרי.

מאפיין מרקוב

#rl

מאפיין של סביבות מסוימות, שבהן המעברים בין המצבים נקבעים באופן מלא על ידי מידע שמשתמע מהמצב הנוכחי והפעולה של הסוכן.

מודל התממת שפה (MLM)

#language

מודל שפה שחוזה את ההסתברות של טוקנים מועמדים למילוי רווחים ברצף. לדוגמה, מודל שפה עם מיסוך יכול לחשב את ההסתברויות של מילה או מילים מועמדות להחלפת הקו התחתון במשפט הבא:

ה____ בכובע חזר.

בספרות המקצועית, בדרך כלל משתמשים במחרוזת MASK במקום בקו תחתון. לדוגמה:

המסכה בכובע חזרה.

רוב המודלים המודרניים של התממת שפה הם דו-כיווניים.

matplotlib

ספריית Python דו-ממדית בקוד פתוח ליצירת תרשימים. ‫matplotlib עוזרת להמחיש היבטים שונים של למידת מכונה.

פירוק מטריצות

#recsystems

במתמטיקה, מנגנון למציאת המטריצות שהמכפלה הסקלרית שלהן היא קירוב של מטריצת יעד.

במערכות המלצה, מטריצת היעד מכילה בדרך כלל את דירוגי המשתמשים של פריטים. לדוגמה, מטריצת היעד של מערכת להמלצות על סרטים יכולה להיראות כך, כאשר המספרים השלמים החיוביים הם דירוגי משתמשים ו-0 מציין שהמשתמש לא דירג את הסרט:

	קזבלנקה	סיפור פילדלפיה	הפנתר השחור	וונדר וומן	ספרות זולה
משתמש 1	5.0	3.0	0.0	2.0	0.0
משתמש 2	4.0	0.0	0.0	1.0	5.0
משתמש 3	3.0	1.0	4.0	5.0	0.0

מערכת ההמלצות לסרטים מנסה לחזות את דירוגי המשתמשים לסרטים שלא סווגו. לדוגמה, האם משתמש 1 יאהב את הסרט הפנתר השחור?

אחת הגישות למערכות המלצה היא שימוש בפירוק מטריצות כדי ליצור את שתי המטריצות הבאות:

• מטריצת משתמשים, בצורה של מספר המשתמשים כפול מספר המאפיינים של ההטמעה.
• מטריצת פריטים, בצורה של מספר הממדים של ההטמעה כפול מספר הפריטים.

לדוגמה, שימוש בפירוק מטריצה בשלושת המשתמשים ובחמישה פריטים יכול להניב את מטריצת המשתמשים ומטריצת הפריטים הבאות:

User Matrix                 Item Matrix

1.1   2.3           0.9   0.2   1.4    2.0   1.2
0.6   2.0           1.7   1.2   1.2   -0.1   2.1
2.5   0.5

מכפלת מטריצת המשתמשים ומטריצת הפריטים היא מטריצת המלצות שמכילה לא רק את דירוגי המשתמשים המקוריים, אלא גם תחזיות לגבי הסרטים שכל משתמש לא צפה בהם. לדוגמה, נניח שהדירוג של משתמש 1 לסרט קזבלנקה היה 5.0. הנקודה שמתאימה לתא הזה במטריצת ההמלצות צריכה להיות בסביבות 5.0, ואכן:

(1.1 * 0.9) + (2.3 * 1.7) = 4.9

והכי חשוב, האם משתמש 1 יאהב את הסרט הפנתר השחור? מכפלה סקלרית של השורה הראשונה והעמודה השלישית תניב דירוג צפוי של 4.3:

(1.1 * 1.4) + (2.3 * 1.2) = 4.3

בדרך כלל, פירוק מטריצות יוצר מטריצת משתמשים ומטריצת פריטים, שביחד הן קומפקטיות משמעותית ממטריצת היעד.

שגיאה מוחלטת ממוצעת (MAE)

#Metric

ההפסד הממוצע לכל דוגמה כשמשתמשים ב-L₁ loss. כך מחשבים את שגיאת הממוצע המוחלט:

1. חישוב הפסד L₁ עבור אצווה.
2. מחלקים את הפסד L₁ במספר הדוגמאות באצווה.

כדי לראות את המתמטיקה הפורמלית, לוחצים על הסמל.

$$\text{Mean Absolute Error} = \frac{1}{n}\sum_{i=0}^n | y_i - \hat{y}_i |$$

where:‎

• ‫$n$ הוא מספר הדוגמאות.
• ‫$y$ הוא הערך בפועל של התווית.
• ‫$\hat{y}$ הוא הערך שהמודל חוזה עבור $y$.

---

לדוגמה, נניח שרוצים לחשב את הפסד L₁ בקבוצה הבאה של חמש דוגמאות:

ערך בפועל לדוגמה	הערך שהמודל חזה	הפסד (ההפרש בין הערך בפועל לבין הערך החזוי)
7	6	1
5	4	1
8	11	3
4	6	2
9	8	1
		‫8 = הפסד L1

לכן, ערך הפונקציה L₁ הוא 8 ומספר הדוגמאות הוא 5. לכן, השגיאה המוחלטת הממוצעת היא:

Mean Absolute Error = L1 loss / Number of Examples
Mean Absolute Error = 8/5 = 1.6

השוואה בין שגיאה מוחלטת ממוצעת של ניגודיות לבין שגיאה ריבועית ממוצעת ושורש טעות ריבועית ממוצעת.

דיוק ממוצע ב-k (mAP@k)

#language

#generativeAI

#Metric

הממוצע הסטטיסטי של כל הציונים של דיוק ממוצע ב-k במערך נתוני אימות. אחד השימושים של מדד הדיוק הממוצע ב-k הוא להעריך את איכות ההמלצות שנוצרות על ידי מערכת המלצות.

למרות שהביטוי 'ממוצע ממוצע' נשמע מיותר, השם של המדד מתאים. בסופו של דבר, המדד הזה מחשב את הממוצע של כמה ערכים של דיוק ממוצע ב-k.

כדי לראות דוגמה, לוחצים על הסמל.

נניח שאתם בונים מערכת המלצות שמפיקה רשימה מותאמת אישית של רומנים מומלצים לכל משתמש. על סמך המשוב ממשתמשים נבחרים, חישבתם את חמשת ערכי הדיוק הממוצעים הבאים ב-k (ערך אחד לכל משתמש):

• 0.73
• 0.77
• 0.67
• 0.82
• 0.76

לכן, הדיוק הממוצע ב-K הוא:

$$\text{mean } = \frac{\text{0.73 + 0.77 + 0.67 + 0.82 + 0.76}} {\text{5}} = \text{0.75}$$

---

שגיאה ריבועית ממוצעת (MSE)

#Metric

ההפסד הממוצע לכל דוגמה כשמשתמשים ב-L₂ loss. כך מחשבים את השגיאה הריבועית הממוצעת:

1. חישוב הפסד L₂ עבור אצווה.
2. מחלקים את הפסד L₂ במספר הדוגמאות באצווה.

כדי לראות את המתמטיקה הפורמלית, לוחצים על הסמל.

$$\text{Mean Squared Error} = \frac{1}{n}\sum_{i=0}^n {(y_i - \hat{y}_i)}^2$$ כאשר:

• ‫$n$ הוא מספר הדוגמאות.
• ‫$y$ הוא הערך בפועל של התווית.
• ‫$\hat{y}$ הוא החיזוי של המודל עבור $y$.

---

לדוגמה, נניח שאתם רוצים לחשב את הפסד על קבוצה של חמש דוגמאות:

ערך בפועל	החיזוי של המודל	הפסד	פונקציית הפסד ריבועי
7	6	1	1
5	4	1	1
8	11	3	9
4	6	2	4
9	8	1	1
			‫16 = L2 loss

לכן, השגיאה הריבועית הממוצעת היא:

Mean Squared Error = L2 loss / Number of Examples
Mean Squared Error = 16/5 = 3.2

השגיאה הריבועית הממוצעת היא אופטימיזציה פופולרית לאימון, במיוחד עבור רגרסיה לינארית.

השוואה בין שורש טעות ריבועית ממוצעת לבין טעות מוחלטת ממוצעת ושורש טעות ריבועית ממוצעת.

‫TensorFlow Playground משתמש בטעות ריבועית ממוצעת כדי לחשב את ערכי ההפסד.

כדי לראות פרטים נוספים על חריגים, לוחצים על הסמל.

ערכים חריגים משפיעים מאוד על שורש טעות ריבועית ממוצעת. לדוגמה, הפסד של 1 הוא הפסד בריבוע של 1, אבל הפסד של 3 הוא הפסד בריבוע של 9. בדוגמה עם אובדן של 3 חשבונות בטבלה שלמעלה, האובדן מהווה כ-56% משגיאת הריבוע הממוצע, בעוד שבכל אחת מהדוגמאות עם אובדן של חשבון אחד, האובדן מהווה רק 6% משגיאת הריבוע הממוצע.

לערכים חריגים אין השפעה חזקה על שגיאה ממוצעת מוחלטת כמו על שגיאה ממוצעת ריבועית. לדוגמה, איבוד של 3 חשבונות מייצג רק כ-38% מהשגיאה הממוצעת המוחלטת.

חיתוך הוא דרך אחת למנוע ממקרים חריגים קיצוניים לפגוע ביכולת החיזוי של המודל.

---

רשת

#TensorFlow

#GoogleCloud

במקביל למידת מכונה, מונח שקשור להקצאת הנתונים והמודל לשבבי TPU, ולהגדרת האופן שבו הערכים האלה יחולקו או ישוכפלו.

המונח Mesh (רשת) הוא מונח עמוס שיכול להתייחס לאחד מהדברים הבאים:

• פריסה פיזית של שבבי TPU.
• מבנה לוגי מופשט למיפוי הנתונים והמודל לשבבי TPU.

בכל מקרה, רשת מוגדרת כצורה.

מטא-למידה

#language

תת-קבוצה של למידת מכונה שמגלה או משפרת אלגוריתם למידה. מערכת מטא-למידה יכולה גם לאמן מודל ללמוד במהירות משימה חדשה מכמות קטנה של נתונים או מניסיון שנצבר במשימות קודמות. אלגוריתמים של למידת-על בדרך כלל מנסים להשיג את הדברים הבאים:

• לשפר או ללמוד תכונות שנוצרו באופן ידני (כמו פונקציית אתחול או פונקציית אופטימיזציה).
• להיות יעילים יותר מבחינת נתונים וחישובים.
• שיפור ההכללה.

מטא-למידה קשורה ללמידה מכמה דוגמאות.

ערך

#TensorFlow

#Metric

נתון סטטיסטי שחשוב לכם.

יעד הוא מדד שמערכת למידת מכונה מנסה לבצע לו אופטימיזציה.

‫Metrics API ‏ (tf.metrics)

#Metric

‫TensorFlow API להערכת מודלים. לדוגמה, tf.metrics.accuracy קובע את התדירות שבה התחזיות של מודל תואמות לתוויות.

מיני-batch

#fundamentals

קבוצת משנה קטנה שנבחרה באופן אקראי מתוך batch שעובר עיבוד באיטרציה אחת. גודל האצווה של אצווה קטנה הוא בדרך כלל בין 10 ל-1,000 דוגמאות.

לדוגמה, נניח שקבוצת האימון כולה (הקבוצה המלאה) כוללת 1,000 דוגמאות. נניח שאתם מגדירים את גודל האצווה של כל אצווה קטנה ל-20. לכן, בכל איטרציה נקבע ההפסד על סמך 20 דוגמאות אקראיות מתוך 1,000 הדוגמאות, ואז מתבצעים שינויים במשקלים ובהטיות בהתאם.

יעיל הרבה יותר לחשב את ההפסד במיני-אצווה מאשר לחשב את ההפסד בכל הדוגמאות באצווה המלאה.

מידע נוסף זמין במאמר רגרסיה ליניארית: היפר-פרמטרים בקורס המקוצר על למידת מכונה.

ירידה סטוכסטית בגרדיאנט של קבוצת נתונים קטנה

אלגוריתם gradient descent שמשתמש בmini-batches. במילים אחרות, שיטת הגרדיאנט הסתגלני (SGD) של קבוצות קטנות מעריכה את הגרדיאנט על סמך קבוצת משנה קטנה של נתוני האימון. בשיטה הרגילה של ירידת גרדיאנט סטוכסטית משתמשים במיני-אצווה בגודל 1.

minimax loss

#Metric

פונקציית הפסד של רשתות יריבות גנרטיביות, שמבוססת על אנטרופיה צולבת בין ההתפלגות של הנתונים שנוצרו לבין הנתונים האמיתיים.

הפסד מינימקס משמש במאמר הראשון לתיאור רשתות גנרטיביות יריבות.

מידע נוסף זמין בקטע פונקציות הפסד בקורס בנושא רשתות יריבות גנרטיביות.

קבוצת מיעוט

#fundamentals

התווית הפחות נפוצה במערך נתונים לא מאוזן של מחלקות. לדוגמה, אם יש מערך נתונים שמכיל 99% תוויות שליליות ו-1% תוויות חיוביות, התוויות החיוביות הן המחלקה המיעוטית.

ההגדרה הזו שונה ממחלקת הרוב.

כדי לראות הערות נוספות, לוחצים על הסמל.

קבוצת אימון עם מיליון דוגמאות נשמעת מרשימה. עם זאת, אם הייצוג של מחלקת המיעוט לא טוב, יכול להיות שגם מערך אימון גדול מאוד לא יספיק. חשוב להתמקד יותר במספר הדוגמאות בסיווג המיעוט, ופחות במספר הכולל של הדוגמאות במערך הנתונים.

אם מערך הנתונים לא מכיל מספיק דוגמאות של מחלקת המיעוט, כדאי להשתמש בדילול (ההגדרה בתבליט השני) כדי להשלים את מחלקת המיעוט.

---

מידע נוסף זמין במאמר מערכי נתונים: מערכי נתונים לא מאוזנים בסדנה ללימוד מכונת למידה.

תערובת של מומחים

#language

#generativeAI

שיטה להגדלת היעילות של רשת עצבית באמצעות שימוש רק בקבוצת משנה של הפרמטרים שלה (שנקראת מומחה) כדי לעבד טוקן או דוגמה נתונים מסוימים. רשת שערים מעבירה כל טוקן קלט או דוגמה למומחה המתאים.

פרטים נוספים זמינים במאמרים הבאים:

• Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer
• Mixture-of-Experts with Expert Choice Routing

ML

קיצור של למידת מכונה.

MMIT

#language

#image

#generativeAI

קיצור של multimodal instruction-tuned.

MNIST

#image

קבוצת נתונים בנחלת הכלל שאוסף LeCun,‏ Cortes ו-Burges, שמכילה 60,000 תמונות. כל תמונה מציגה איך אדם כתב ידנית ספרה מסוימת מ-0 עד 9. כל תמונה מאוחסנת כמערך של מספרים שלמים בגודל 28x28, כאשר כל מספר שלם הוא ערך של גוון אפור בין 0 ל-255, כולל.

‫MNIST הוא מערך נתונים קנוני ללמידת מכונה, שמשמש לעיתים קרובות לבדיקת גישות חדשות ללמידת מכונה. פרטים נוספים זמינים במאמר The MNIST Database of Handwritten Digits.

אופן הפעולה

#language

קטגוריית נתונים ברמה גבוהה. לדוגמה, מספרים, טקסט, תמונות, וידאו ואודיו הם חמש שיטות שונות.

מודל

#fundamentals

באופן כללי, כל מבנה מתמטי שמקבל נתוני קלט ומחזיר פלט. במילים אחרות, מודל הוא קבוצת הפרמטרים והמבנה שדרושים למערכת כדי ליצור תחזיות. בלמידת מכונה מבוקרת, מודל מקבל דוגמה כקלט ומסיק חיזוי כפלט. בלמידת מכונה בפיקוח, יש הבדלים מסוימים בין המודלים. לדוגמה:

• מודל רגרסיה לינארית מורכב מקבוצה של משקלים ומהטיה.
• מודל של רשת נוירונים מורכב מ:
  • קבוצה של שכבות מוסתרות, שכל אחת מהן מכילה נוירון אחד או יותר.
  • המשקלים וההטיות שמשויכים לכל נוירון.
• מודל עץ החלטה מורכב מ:
  • הצורה של העץ, כלומר התבנית שבה התנאים והעלים מחוברים.
  • התנאים והחופשות.

אפשר לשמור מודל, לשחזר אותו או ליצור ממנו עותקים.

למידת מכונה לא מפוקחת גם יוצרת מודלים, בדרך כלל פונקציה שיכולה למפות דוגמת קלט לאשכול המתאים ביותר.

לוחצים על הסמל כדי להשוות בין פונקציות אלגבריות ופונקציות תכנות לבין מודלים של ML.

פונקציה אלגברית כמו הבאה היא מודל:

  f(x, y) = 3x -5xy + y2 + 17

הפונקציה הקודמת ממפה ערכי קלט (x ו-y) לפלט.

באופן דומה, פונקציית תכנות כמו הבאה היא גם מודל:

def half_of_greater(x, y):
  if (x > y):
    return(x / 2)
  else
    return(y / 2)

הפונקציה הקוראת מעבירה ארגומנטים לפונקציית Python הקודמת, ופונקציית Python יוצרת פלט (באמצעות ההצהרה return).

למרות שלרשת נוירונים עמוקה יש מבנה מתמטי שונה מאוד מזה של פונקציה אלגברית או פונקציית תכנות, רשת נוירונים עמוקה עדיין מקבלת קלט (דוגמה) ומחזירה פלט (תחזית).

מתכנת אנושי מקודד פונקציית תכנות באופן ידני. לעומת זאת, מודל למידת מכונה לומד בהדרגה את הפרמטרים האופטימליים במהלך אימון אוטומטי.

---

קיבולת המודל

#Metric

מורכבות הבעיות שהמודל יכול ללמוד. ככל שהבעיות שמודל יכול ללמוד מורכבות יותר, כך הקיבולת של המודל גבוהה יותר. הקיבולת של מודל בדרך כלל גדלה עם מספר הפרמטרים של המודל. הגדרה רשמית של הקיבולת של מודל סיווג מופיעה במאמר בנושא ממד VC.

מודל מדורג

#generativeAI

מערכת שבוחרת את המודל האידיאלי לשאילתת הסקה ספציפית.

תארו לעצמכם קבוצה של מודלים, החל ממודלים גדולים מאוד (עם הרבה פרמטרים) ועד למודלים קטנים בהרבה (עם הרבה פחות פרמטרים). מודלים גדולים מאוד צורכים יותר משאבי מחשוב בזמן הסקת מסקנות מאשר מודלים קטנים יותר. עם זאת, מודלים גדולים מאוד יכולים בדרך כלל להסיק בקשות מורכבות יותר ממודלים קטנים יותר. המודל קובע את מורכבות שאילתת ההיקש, ואז בוחר את המודל המתאים לביצוע ההיקש. הסיבה העיקרית לשימוש במודלים מדורגים היא להפחית את עלויות ההסקה. בדרך כלל נבחרים מודלים קטנים יותר, ומודל גדול יותר נבחר רק לשאילתות מורכבות יותר.

נניח שמודל קטן פועל בטלפון וגרסה גדולה יותר של אותו מודל פועלת בשרת מרוחק. קסקדינג טוב של מודלים מפחית את העלות ואת ההשהיה, כי הוא מאפשר למודל הקטן יותר לטפל בבקשות פשוטות, ורק אם הבקשות מורכבות יותר הוא קורא למודל המרוחק.

אפשר לעיין גם במאמר בנושא ניתוב מודלים.

מקביליות של מודלים

#language

שיטה להרחבת האימון או ההסקת מסקנות, שבה חלקים שונים של מודל אחד ממוקמים במכשירים שונים. מקביליות של מודלים מאפשרת להשתמש במודלים גדולים מדי שלא נכנסים למכשיר אחד.

כדי להטמיע מקביליות של מודלים, מערכת בדרך כלל מבצעת את הפעולות הבאות:

1. מפצלים את המודל לחלקים קטנים יותר.
2. מפיץ את האימון של החלקים הקטנים האלה בין כמה מעבדים. כל מעבד מאמן חלק משלו במודל.
3. התוצאות משולבות ליצירת מודל יחיד.

מקביליות המודל מאטה את האימון.

אפשר לקרוא גם על מקביליות נתונים.

נתב לדוגמה

#generativeAI

האלגוריתם שקובע את המודל האידיאלי להסקת מסקנות במודל מדורג. נתב מודלים הוא בדרך כלל מודל למידת מכונה שלומד בהדרגה איך לבחור את המודל הכי טוב לקלט נתון. עם זאת, נתב מודלים יכול להיות לפעמים אלגוריתם פשוט יותר שאינו מבוסס על למידת מכונה.

אימון מודל

התהליך של קביעת המודל הטוב ביותר.

MOE

#language

#image

#generativeAI

קיצור של תערובת של מומחים.

מומנטום

אלגוריתם מורכב של ירידת גרדיאנט שבו שלב הלמידה תלוי לא רק בנגזרת בשלב הנוכחי, אלא גם בנגזרות של השלבים שקדמו לו. בשיטת המומנטום, המערכת מחשבת ממוצע נע משוקלל אקספוננציאלית של הגרדיאנטים לאורך זמן, בדומה למומנטום בפיזיקה. המומנטום מונע לפעמים את התקיעה של תהליך הלמידה במינימום מקומי.

MT

#generativeAI

קיצור של תרגום אוטומטי.

סיווג רב-מחלקתי

#fundamentals

בלמידה מפוקחת, בעיית סיווג שבה מערך הנתונים מכיל יותר משני סוגים של תוויות. לדוגמה, התוויות במערך הנתונים של Iris צריכות להיות אחת משלוש המחלקות הבאות:

• Iris setosa
• Iris virginica
• Iris versicolor

מודל שאומן על מערך הנתונים של איריס ומנבא את סוג האיריס בדוגמאות חדשות, מבצע סיווג רב-מחלקתי.

לעומת זאת, בעיות סיווג שמבחינות בין בדיוק שתי קטגוריות הן מודלים של סיווג בינארי. לדוגמה, מודל אימייל שמנבא אם האימייל הוא ספאם או לא ספאם הוא מודל סיווג בינארי.

בבעיות של קיבוץ לאשכולות, סיווג רב-מחלקתי מתייחס ליותר משני אשכולות.

מידע נוסף זמין במאמר רשתות עצביות: סיווג רב-מחלקתי בקורס המקוצר בנושא למידת מכונה.

רגרסיה לוגיסטית רב-סיווגית

שימוש ברגרסיה לוגיסטית בבעיות של סיווג רב-מחלקתי.

מנגנון תשומת לב עצמית עם מספר ראשים

#language

הרחבה של קשב עצמי שמפעילה את מנגנון הקשב העצמי מספר פעמים לכל מיקום ברצף הקלט.

טרנספורמרים הציגו קשב עצמי מרובה ראשים.

מכוונן להוראות מולטי-מודאליות

#language

מודל שעבר כוונון לפי הוראות שיכול לעבד קלט שהוא לא רק טקסט, כמו תמונות, סרטונים ואודיו.

מודל מולטי-מודאלי

#language

מודל שהקלט, הפלט או שניהם כוללים יותר מאופן פעולה אחד. לדוגמה, נניח שיש מודל שמקבל כמאפיינים גם תמונה וגם כיתוב (שני סוגים של נתונים), ומוציא ציון שמציין עד כמה הכיתוב מתאים לתמונה. לכן, הקלט של המודל הזה הוא מולטימודאלי והפלט הוא אונימודאלי.

סיווג רב-נומינלי

מילה נרדפת לסיווג רב-מחלקתי.

רגרסיה מולטינומיאלית

מילה נרדפת לרגרסיה לוגיסטית רב-סיווגית.

ריבוי משימות

טכניקה של למידת מכונה שבה מודל אחד מאומן לבצע כמה משימות.

מודלים לביצוע כמה משימות נוצרים על ידי אימון על נתונים שמתאימים לכל אחת מהמשימות השונות. כך המודל לומד לשתף מידע בין המשימות, מה שעוזר לו ללמוד בצורה יעילה יותר.

למודל שאומן למספר משימות יש לרוב יכולות הכללה משופרות, והוא יכול להיות חזק יותר בטיפול בסוגים שונים של נתונים.

לא

Nano

#generativeAI

מודל Gemini קטן יחסית שמיועד לשימוש במכשיר. פרטים נוספים זמינים במאמר בנושא Gemini Nano.

אפשר גם לעיין במידע על Pro ועל Ultra.

מלכודת NaN

אם מספר אחד במודל הופך ל-NaN במהלך האימון, הרבה מספרים אחרים במודל או כולם יהפכו בסופו של דבר ל-NaN.

‫NaN הוא קיצור של Not a Number (לא מספר).

עיבוד שפה טבעית (NLP)

#language

תחום שמלמד מחשבים לעבד את מה שהמשתמש אמר או הקליד באמצעות כללים לשוניים. כמעט כל עיבוד השפה הטבעית המודרני מסתמך על למידת מכונה.

הבנת שפה טבעית (NLU)

#language

קבוצת משנה של עיבוד שפה טבעית שקובעת את הכוונות של משהו שנאמר או הוקלד. הבנת שפה טבעית יכולה להתבסס על עיבוד שפה טבעית (NLP) כדי להתייחס להיבטים מורכבים של השפה כמו הקשר, סרקזם ורגשות.

סיווג שלילי

#fundamentals

#Metric

בסיווג בינארי, מחלקים את הנתונים לשתי קבוצות: חיובית ושלילית. הסיווג החיובי הוא הדבר או האירוע שהמודל בודק, והסיווג השלילי הוא האפשרות השנייה. לדוגמה:

• הסיווג השלילי בבדיקה רפואית יכול להיות 'לא גידול'.
• הסיווג השלילי במודל סיווג של אימייל יכול להיות 'לא ספאם'.

ההגדרה הזו שונה מסיווג חיובי.

דגימה שלילית

מילה נרדפת לדגימת מועמדים.

Neural Architecture Search (NAS)

טכניקה לעיצוב אוטומטי של הארכיטקטורה של רשת עצבית. אלגוריתמים של NAS יכולים לצמצם את כמות הזמן והמשאבים שנדרשים לאימון של רשת נוירונים.

בדרך כלל נעשה שימוש ב-NAS:

• מרחב חיפוש, שהוא קבוצה של ארכיטקטורות אפשריות.
• פונקציית כושר, שהיא מדד לביצועים של ארכיטקטורה מסוימת במשימה נתונה.

אלגוריתמים של NAS מתחילים בדרך כלל עם קבוצה קטנה של ארכיטקטורות אפשריות, ומרחיבים בהדרגה את מרחב החיפוש ככל שהאלגוריתם לומד יותר על הארכיטקטורות האפקטיביות. פונקציית הכושר מבוססת בדרך כלל על הביצועים של הארכיטקטורה במערך אימון, והאלגוריתם מאומן בדרך כלל באמצעות טכניקה של למידת חיזוק.

אלגוריתמים של NAS הוכיחו את עצמם כיעילים במציאת ארכיטקטורות עם ביצועים גבוהים למגוון משימות, כולל סיווג תמונות, סיווג טקסט ותרגום מכונה.

רשת הזרימה קדימה

#fundamentals

מודל שמכיל לפחות שכבה מוסתרת אחת. רשת נוירונים עמוקה היא סוג של רשת נוירונים שמכילה יותר משכבה מוסתרת אחת. לדוגמה, בתרשים הבא מוצגת רשת עצבית עמוקה שמכילה שתי שכבות נסתרות.

כל נוירון ברשת נוירונים מתחבר לכל הצמתים בשכבה הבאה. לדוגמה, בדיאגרמה הקודמת אפשר לראות שכל אחד משלושת הנוירונים בשכבה הנסתרת הראשונה מתחבר בנפרד לשני הנוירונים בשכבה הנסתרת השנייה.

רשתות נוירונים שמיושמות במחשבים נקראות לפעמים רשתות נוירונים מלאכותיות כדי להבדיל ביניהן לבין רשתות נוירונים שנמצאות במוח ובמערכות עצבים אחרות.

חלק מהרשתות העצביות יכולות לחקות קשרים לא לינאריים מורכבים במיוחד בין תכונות שונות לבין התווית.

ראו גם רשת נוירונים מתקפלת ורשת נוירונים חוזרת.

מידע נוסף מופיע במאמר רשתות עצביות בקורס המקוצר על למידת מכונה.

נוירון

#fundamentals

בלמידת מכונה, יחידה נפרדת בשכבה נסתרת של רשת נוירונים. כל נוירון מבצע את הפעולה הבאה בשני שלבים:

1. הפונקציה מחשבת את הסכום המשוקלל של ערכי הקלט כפול המשקלים התואמים שלהם.
2. הפונקציה מעבירה את הסכום המשוקלל כקלט לפונקציית הפעלה.

נוירון בשכבה הנסתרת הראשונה מקבל קלט מערכי המאפיינים בשכבת הקלט. נוירון בכל שכבה נסתרת מעבר לשכבה הראשונה מקבל קלט מהנוירונים בשכבה הנסתרת הקודמת. לדוגמה, נוירון בשכבה הנסתרת השנייה מקבל קלט מהנוירונים בשכבה הנסתרת הראשונה.

באיור הבא אפשר לראות שני נוירונים והקלט שלהם.

נוירון ברשת נוירונים מחקה את ההתנהגות של נוירונים במוח ובחלקים אחרים של מערכת העצבים.

N-gram

#seq

#language

רצף מסודר של N מילים. לדוגמה, truly madly הוא ביגרם. הסדר חשוב, ולכן madly truly הוא ביגרם שונה מ-truly madly.

לא	שם או שמות של סוג ה-N-gram הזה	דוגמאות
2	ביגרם או 2-גרם	to go, go to, eat lunch, eat dinner
3	טריגרם או 3-גרם	ate too much, happily ever after, the bell tolls
4	‫4 גרם	walk in the park, dust in the wind, the boy ate lentils

מודלים רבים של הבנת שפה טבעית מסתמכים על N-grams כדי לחזות את המילה הבאה שהמשתמש יקליד או יגיד. לדוגמה, נניח שמשתמש הקליד happily ever. מודל NLU שמבוסס על טריגרמות צפוי לחזות שהמשתמש יקליד את המילה after.

ההבדל בין n-gram לבין bag of words הוא ש-bag of words הוא קבוצה לא מסודרת של מילים.

מידע נוסף זמין במאמר מודלים גדולים של שפה בקורס Machine Learning Crash Course.

NLP

#language

קיצור של עיבוד שפה טבעית.

NLU

#language

קיצור של natural language understanding (הבנת שפה טבעית).

צומת (עץ החלטה)

#df

בעץ החלטה, כל תנאי או עלה.

מידע נוסף זמין במאמר בנושא עצי החלטה בקורס בנושא יערות החלטה.

צומת (רשת נוירונים)

#fundamentals

נוירון בשכבה נסתרת.

מידע נוסף מופיע במאמר רשתות עצביות בקורס המקוצר על למידת מכונה.

צומת (תרשים TensorFlow)

#TensorFlow

פעולה בגרף של TensorFlow.

רעש

באופן כללי, כל דבר שמסתיר את האות במערך נתונים. רעשים יכולים להופיע בנתונים במגוון דרכים. לדוגמה:

• בודקים אנושיים טועים לפעמים בתוויות.
• במקרים של הקלטה על ידי בני אדם או מכשירים, יכול להיות שערכי התכונות לא יוקלטו או שיושמטו.

מצב לא בינארי

#df

תנאי שמכיל יותר משני תוצאות אפשריות. לדוגמה, התנאי הלא בינארי הבא מכיל שלושה תוצאות אפשריות:

מידע נוסף זמין במאמר סוגי תנאים בקורס בנושא יערות החלטה.

לא לינארי

#fundamentals

קשר בין שני משתנים או יותר שלא ניתן לייצג רק באמצעות חיבור וכפל. אפשר לייצג קשר לינארי באמצעות קו, אבל אי אפשר לייצג קשר לא לינארי באמצעות קו. לדוגמה, נניח שיש שני מודלים שכל אחד מהם מקשר בין תכונה אחת לתווית אחת. המודל בצד ימין הוא ליניארי והמודל בצד שמאל הוא לא ליניארי:

בקורס המקוצר בנושא למידת מכונה, אפשר לעיין בקטע רשתות עצביות: צמתים ושכבות נסתרות כדי להתנסות בסוגים שונים של פונקציות לא לינאריות.

הטיית אי-היענות

#responsible

ראו הטיית בחירה.

nonstationarity

#fundamentals

תכונה שהערכים שלה משתנים לאורך מאפיין אחד או יותר, בדרך כלל זמן. לדוגמה, הנה כמה דוגמאות לנתונים לא סטציונריים:

• מספר בגדי הים שנמכרים בחנות מסוימת משתנה בהתאם לעונה.
• הכמות של פרי מסוים שנקטף באזור מסוים היא אפס במשך רוב השנה, אבל גדולה לתקופה קצרה.
• בגלל שינויי האקלים, הטמפרטורות הממוצעות השנתיות משתנות.

ההפך מסטציונריות.

אין תשובה נכונה אחת (NORA)

#language

#generativeAI

הנחיה שיש לה כמה תשובות מתאימות. לדוגמה, להנחיה הבאה אין תשובה נכונה אחת:

תספר לי בדיחה על פילים.

הערכה של הנחיות שאין להן תשובה נכונה אחת יכולה להיות מאתגרת.

NORA

#language

#generativeAI

קיצור של no one right answer (אין תשובה נכונה אחת).

נירמול

#fundamentals

באופן כללי, תהליך ההמרה של טווח הערכים בפועל של משתנה לטווח ערכים סטנדרטי, כמו:

• ‫‎-1 עד ‎+1
• ‫0 עד 1
• ציוני תקן (בערך, ‎-3 עד ‎+3)

לדוגמה, נניח שהטווח בפועל של ערכי תכונה מסוימת הוא 800 עד 2,400. כחלק מהנדסת התכונות, אפשר לנרמל את הערכים בפועל לטווח סטנדרטי, למשל מ-1 עד +1.

נורמליזציה היא משימה נפוצה בהנדסת תכונות. בדרך כלל, אימון המודלים מהיר יותר (והתחזיות מדויקות יותר) כשכל תכונה מספרית בווקטור התכונות נמצאת בטווח דומה.

אפשר לעיין גם במאמר בנושא נורמליזציה של ציון תקן.

מידע נוסף זמין במאמר נתונים מספריים: נורמליזציה בסדנה ללימוד למידת מכונה.

Notebook LM

#language

#generativeAI

כלי מבוסס-Gemini שמאפשר למשתמשים להעלות מסמכים ואז להשתמש בהנחיות כדי לשאול שאלות לגבי המסמכים, לסכם אותם או לארגן אותם. לדוגמה, סופר יכול להעלות כמה סיפורים קצרים ולבקש מ-NotebookLM למצוא את הנושאים המשותפים שלהם או לזהות איזה מהם יהיה הכי מתאים לעיבוד לסרט.

זיהוי של תכונות חדשות

התהליך של קביעה אם דוגמה חדשה (חדשנית) מגיעה מאותו פיזור כמו קבוצת האימון. במילים אחרות, אחרי אימון על מערך האימון, זיהוי חריגות קובע אם דוגמה חדשה (במהלך הסקת מסקנות או במהלך אימון נוסף) היא חריגה.

השוואה לזיהוי חריגות.

נתונים מספריים

#fundamentals

מאפיינים שמיוצגים כמספרים שלמים או כמספרים ממשיים. לדוגמה, במודל להערכת שווי של בית, גודל הבית (במטרים רבועים או ברגל רבוע) כנראה ייוצג כנתונים מספריים. ייצוג של תכונה כנתונים מספריים מציין שלערכים של התכונה יש קשר מתמטי לתווית. כלומר, למספר המטרים הרבועים בבית יש כנראה קשר מתמטי כלשהו לערך הבית.

לא כל נתוני המספרים השלמים צריכים להיות מיוצגים כנתונים מספריים. לדוגמה, מיקודים בחלקים מסוימים בעולם הם מספרים שלמים, אבל מיקודים שהם מספרים שלמים לא צריכים להיות מיוצגים כנתונים מספריים במודלים. הסיבה לכך היא שמיקוד של 20000 לא חזק פי שניים (או חצי) ממיקוד של 10000. בנוסף, למרות שיש קשר בין מיקודים שונים לבין ערכי נדל"ן שונים, אי אפשר להניח שערכי הנדל"ן במיקוד 20000 כפולים מערכי הנדל"ן במיקוד 10000. במקום זאת, צריך להציג את המיקודים כנתונים קטגוריים.

תכונות מספריות נקראות לפעמים תכונות רציפות.

מידע נוסף זמין במאמר עבודה עם נתונים מספריים בקורס המקוצר על למידת מכונה.

NumPy

ספרייה מתמטית בקוד פתוח שמספקת פעולות יעילות על מערכים ב-Python. הספרייה pandas מבוססת על NumPy.

O

יעד

#Metric

מדד שהאלגוריתם מנסה לבצע לו אופטימיזציה.

פונקציית היעד

#Metric

הנוסחה המתמטית או המדד שהמודל מנסה לבצע אופטימיזציה לגביהם. לדוגמה, פונקציית המטרה של רגרסיה לינארית היא בדרך כלל Mean Squared Loss. לכן, כשמאמנים מודל רגרסיה לינארית, האימון נועד למזער את אובדן המידע הממוצע בריבוע.

במקרים מסוימים, המטרה היא למקסם את פונקציית היעד. לדוגמה, אם פונקציית היעד היא דיוק, המטרה היא למקסם את הדיוק.

מידע נוסף זמין במאמר בנושא הפסד.

תנאי עקיף

#df

בעץ החלטה, תנאי שכולל יותר ממאפיין אחד. לדוגמה, אם הגובה והרוחב הם מאפיינים, אז התנאי הבא הוא תנאי אלכסוני:

  height > width

ההגדרה הזו שונה מתנאי שמוגדר בהתאם לציר.

מידע נוסף זמין במאמר סוגי תנאים בקורס בנושא יערות החלטה.

לא מקוון

#fundamentals

מילה נרדפת ל-static.

הסקת מסקנות אופליין

#fundamentals

התהליך שבו מודל יוצר קבוצה של חיזויים ואז שומר אותם במטמון. האפליקציות יכולות לגשת לתחזית המשוערת מהמטמון במקום להפעיל מחדש את המודל.

לדוגמה, נניח שיש מודל שמפיק תחזיות מזג אוויר מקומיות (חיזויים) פעם בארבע שעות. אחרי כל הרצת מודל, המערכת שומרת במטמון את כל התחזיות המקומיות. אפליקציות מזג האוויר מאחזרות את התחזיות מהמטמון.

הסקת מסקנות אופליין נקראת גם הסקת מסקנות סטטית.

ההבדל בין הסקת מסקנות אונליין. מידע נוסף מופיע במאמר מערכות ML לייצור: הסקה סטטית לעומת הסקה דינמית ב-Machine Learning Crash Course.

קידוד one-hot

#fundamentals

ייצוג נתונים קטגוריים כווקטור שבו:

• רכיב אחד מוגדר ל-1.
• כל שאר הרכיבים מוגדרים כ-0.

קידוד one-hot משמש בדרך כלל לייצוג מחרוזות או מזהים שיש להם קבוצה סופית של ערכים אפשריים. לדוגמה, נניח שלתכונה קטגורית מסוימת בשם Scandinavia יש חמישה ערכים אפשריים:

• "דנמרק"
• "Sweden"
• "Norway"
• "Finland"
• "איסלנד"

קידוד one-hot יכול לייצג כל אחד מחמשת הערכים באופן הבא:

מדינה	וקטור
"דנמרק"	1	0	0	0	0
"Sweden"	0	1	0	0	0
"Norway"	0	0	1	0	0
"Finland"	0	0	0	1	0
"איסלנד"	0	0	0	0	1

הודות לקידוד one-hot, מודל יכול ללמוד קשרים שונים על סמך כל אחת מחמש המדינות.

ייצוג מאפיין כנתונים מספריים הוא חלופה לקידוד "חם-יחיד". לצערנו, לא מומלץ לייצג את המדינות הסקנדינביות באמצעות מספרים. לדוגמה, הנה ייצוג מספרי:

• ‫"Denmark" הוא 0
• ‫"Sweden" הוא 1
• ‫"Norway" הוא 2
• ‫"Finland" הוא 3
• ‫"Iceland" הוא 4

בקידוד מספרי, המודל יפרש את המספרים הגולמיים באופן מתמטי וינסה להתאמן על המספרים האלה. עם זאת, איסלנד לא גדולה פי שניים (או קטנה פי שניים) מנורווגיה, ולכן המודל יגיע למסקנות מוזרות.

מידע נוסף זמין במאמר Categorical data: Vocabulary and one-hot encoding (נתונים קטגוריים: אוצר מילים וקידוד one-hot) בתוכנית Machine Learning Crash Course (מבוא ללמידת מכונה).

one-shot learning

גישה של למידת מכונה, שמשמשת לעיתים קרובות לסיווג אובייקטים, ומיועדת ללמוד מודל סיווג יעיל מדוגמה אחת לאימון.

ראו גם למידה מכמה דוגמאות ולמידה ללא דוגמאות.

מתן הנחיות בשיטת one-shot

#language

#generativeAI

הנחיה שמכילה דוגמה אחת שמראה איך מודל שפה גדול צריך להגיב. לדוגמה, ההנחיה הבאה מכילה דוגמה אחת שמראה למודל שפה גדול איך עליו לענות על שאילתה.

החלקים של הנחיה	הערות
מהו המטבע הרשמי של המדינה שצוינה?	השאלה שרוצים שה-LLM יענה עליה.
צרפת: EUR	דוגמה אחת.
הודו:	השאילתה בפועל.

השוואה וניגוד בין הנחיה חד-פעמית לבין המונחים הבאים:

• מתן הנחיות בשיטת zero-shot
• מתן הנחיות עם כמה דוגמאות

אחד לעומת כולם

#fundamentals

בהינתן בעיית סיווג עם N מחלקות, פתרון שמורכב מ-N מסווגים בינאריים נפרדים – מסווג בינארי אחד לכל תוצאה אפשרית. לדוגמה, אם יש מודל שמסווג דוגמאות כבעלי חיים, צמחים או מינרלים, פתרון של אחד מול כולם יספק את שלושת המסווגים הבינאריים הנפרדים הבאים:

• בעל חיים לעומת לא בעל חיים
• ירק לעומת לא ירק
• מינרל לעומת לא מינרל

online

#fundamentals

מילה נרדפת לדינמי.

היקש אונליין

#fundamentals

יצירת תחזיות לפי דרישה. לדוגמה, נניח שאפליקציה מעבירה קלט למודל ושולחת בקשה לתחזית. מערכת שמשתמשת בהסקת מסקנות אונליין מגיבה לבקשה על ידי הפעלת המודל (ומחזירה את החיזוי לאפליקציה).

ההבדל בין הסקת מסקנות אופליין.

מידע נוסף מופיע במאמר מערכות ML לייצור: הסקה סטטית לעומת הסקה דינמית ב-Machine Learning Crash Course.

פעולה (op)

#TensorFlow

ב-TensorFlow, כל הליך שיוצר, משנה או משמיד Tensor. לדוגמה, כפל מטריצות הוא פעולה שמקבלת שני טנסורים כקלט ומפיקה טנסור אחד כפלט.

Optax

ספרייה לעיבוד ולאופטימיזציה של גרדיאנטים ל-JAX. ‫Optax מספקת אבני בניין שאפשר לשלב מחדש בדרכים מותאמות אישית כדי לבצע אופטימיזציה של מודלים פרמטריים כמו רשתות נוירונים עמוקות, וכך היא מסייעת במחקר. יעדים אחרים כוללים:

• מספקים הטמעות יעילות, קריאות ונבדקות היטב של רכיבי ליבה.
• שיפור הפרודוקטיביות על ידי אפשרות לשלב רכיבים ברמה נמוכה באופטימיזטורים בהתאמה אישית (או ברכיבים אחרים לעיבוד גרדיאנטים).
• האפשרות לכל אחד לתרום רעיונות מאפשרת להטמיע רעיונות חדשים במהירות.

optimizer

הטמעה ספציפית של האלגוריתם gradient descent. אופטימיזטורים פופולריים כוללים:

• ‫AdaGrad, קיצור של ADAptive GRADient descent (ירידה אדפטיבית של שיפוע).
• ‫Adam, קיצור של ADAptive with Momentum (מותאם עם מומנטום).

הטיית הומוגניות של קבוצת חוץ

#responsible

הנטייה לראות חברים בקבוצה החיצונית כדומים יותר מאשר חברים בקבוצה הפנימית, כשמשווים בין עמדות, ערכים, תכונות אישיות ומאפיינים אחרים. בתוך הקבוצה – אנשים שיש לכם איתם אינטראקציה באופן קבוע. מחוץ לקבוצה – אנשים שאין לכם איתם אינטראקציה באופן קבוע. אם יוצרים מערך נתונים על ידי בקשה מאנשים לספק מאפיינים לגבי קבוצות חיצוניות, יכול להיות שהמאפיינים האלה יהיו פחות מדויקים ויותר סטריאוטיפיים בהשוואה למאפיינים שמשתתפים מפרטים לגבי אנשים בקבוצה הפנימית שלהם.

לדוגמה, יכול להיות שאנשי ליליפוט יתארו את הבתים של אנשי ליליפוט אחרים בפירוט רב, ויציינו הבדלים קטנים בסגנונות האדריכליים, בחלונות, בדלתות ובגדלים. אבל יכול להיות שאותם ליליפוטים פשוט יצהירו שכל תושבי ברובדינגנאג גרים בבתים זהים.

הטיית הומוגניות של קבוצה חיצונית היא סוג של הטיית ייחוס לקבוצה.

ראו גם הטיה לטובת קבוצת השייכות.

זיהוי חריגות

התהליך של זיהוי חריגים בקבוצת אימון.

ההבדל בין זה לבין זיהוי של תכונות חדשות.

חריגים

ערכים שרחוקים מרוב הערכים האחרים. בלמידת מכונה, חריגים הם כל אחד מהמקרים הבאים:

• נתוני קלט שהערכים שלהם חורגים ביותר מ-3 סטיות תקן מהממוצע.
• משקלים עם ערכים מוחלטים גבוהים.
• הערכים החזויים רחוקים יחסית מהערכים בפועל.

לדוגמה, נניח ש-widget-price היא תכונה של מודל מסוים. נניח שהממוצע widget-price הוא 7 אירו עם סטיית תקן של אירו אחד. לכן, דוגמאות שמכילות widget-price של 12 אירו או 2 אירו ייחשבו לערכים חריגים, כי כל אחד מהמחירים האלה הוא חמש סטיות תקן מהממוצע.

בדרך כלל, חריגים נובעים משגיאות הקלדה או משגיאות אחרות בהזנה. במקרים אחרים, חריגים הם לא טעויות. אחרי הכול, ערכים שחמישה סטיות תקן רחוקים מהממוצע הם נדירים אבל לא בלתי אפשריים.

ערכים חריגים גורמים לרוב לבעיות באימון המודל. חיתוך הוא דרך אחת לנהל חריגים.

מידע נוסף זמין במאמר עבודה עם נתונים מספריים בקורס המקוצר על למידת מכונה.

הערכה מחוץ לתיק (OOB)

#df

מנגנון להערכת האיכות של יער של עצי החלטה באמצעות בדיקה של כל עץ החלטה מול הדוגמאות שלא שימשו במהלך האימון של עץ ההחלטה הזה. לדוגמה, בתרשים הבא אפשר לראות שהמערכת מאמנת כל עץ החלטה על כשני שלישים מהדוגמאות, ואז בודקת אותו מול השליש הנותר של הדוגמאות.

הערכה מחוץ לתיק היא קירוב יעיל מבחינה חישובית ושמרני של מנגנון האימות הצולב. באימות צולב, מאמנים מודל אחד לכל סבב של אימות צולב (לדוגמה, מאמנים 10 מודלים באימות צולב של 10 קיפולים). בשיטת ההערכה OOB, מאמנים מודל יחיד. מכיוון שbagging מעכב חלק מהנתונים מכל עץ במהלך האימון, אפשר להשתמש בנתוני OOB כדי לבצע קירוב של אימות צולב.

מידע נוסף זמין במאמר הערכה מחוץ לתיק בקורס בנושא יערות החלטה.

שכבת הפלט

#fundamentals

השכבה ה'אחרונה' של רשת נוירונים. שכבת הפלט מכילה את החיזוי.

האיור הבא מציג רשת עצבית עמוקה קטנה עם שכבת קלט, שתי שכבות נסתרות ושכבת פלט:

התאמת יתר (overfitting)

#fundamentals

יצירת מודל שתואם לנתוני האימון בצורה כל כך מדויקת, עד שהמודל לא מצליח לבצע חיזויים נכונים לגבי נתונים חדשים.

רגולריזציה יכולה לצמצם את התאמת היתר. אימון על מערך אימון גדול ומגוון יכול גם להפחית את התאמת היתר.

כדי לראות הערות נוספות, לוחצים על הסמל.

התאמת יתר היא כמו הקפדה על ההמלצות של המורה האהוב/ה בלבד. סביר להניח שתצליחו בכיתה של המורה הזה, אבל יכול להיות שתתאימו את עצמכם יותר מדי לרעיונות של המורה ולא תצליחו בכיתות אחרות. הקשבה לעצות ממגוון מורים תאפשר לכם להסתגל טוב יותר למצבים חדשים.

---

מידע נוסף מופיע במאמר בנושא התאמת יתר בקורס המקוצר על למידת מכונה.

דגימת יתר

שימוש חוזר בדוגמאות של מחלקת מיעוט במערך נתונים עם חוסר איזון בין מחלקות כדי ליצור מערך אימון מאוזן יותר.

לדוגמה, נניח שיש בעיה של סיווג בינארי שבה היחס בין מחלקת הרוב למחלקת המיעוט הוא 5,000:1. אם מערך הנתונים מכיל מיליון דוגמאות, אז הוא מכיל רק כ-200 דוגמאות של המחלקה המיעוטית, וזה יכול להיות מעט מדי דוגמאות לאימון יעיל. כדי להתגבר על החוסר הזה, אפשר לבצע דגימת יתר (שימוש חוזר) ב-200 הדוגמאות האלה מספר פעמים, וכך אולי להגיע למספר מספיק של דוגמאות לאימון יעיל.

כשמבצעים דגימת יתר, צריך להיזהר מהתאמת יתר.

ההבדל בין זה לבין דילול יתר.

P

נתונים ארוזים

גישה לאחסון נתונים בצורה יעילה יותר.

מאגרי נתונים דחוסים שומרים נתונים בפורמט דחוס או בדרך אחרת שמאפשרת גישה יעילה יותר לנתונים. נתונים ארוזים מצמצמים את כמות הזיכרון והחישובים שנדרשים כדי לגשת אליהם, וכך האימון מהיר יותר וההסקה של המודל יעילה יותר.

לרוב משתמשים בנתונים דחוסים בשילוב עם טכניקות אחרות, כמו הגדלת מערך הנתונים ורגולריזציה, כדי לשפר עוד יותר את הביצועים של מודלים.

PaLM

קיצור של Pathways Language Model (מודל שפה של Pathways).

פנדות

#fundamentals

‫API לניתוח נתונים מבוסס-עמודות, שמבוסס על numpy. מסגרות רבות של למידת מכונה, כולל TensorFlow, תומכות במבני נתונים של pandas כקלט. פרטים נוספים זמינים במסמכי התיעוד של pandas.

פרמטר

#fundamentals

המשקולות וההטיות שהמודל לומד במהלך האימון. לדוגמה, במודל של רגרסיה ליניארית, הפרמטרים מורכבים מההטיה (b) ומכל המשקלים (w₁,‏ w₂ וכן הלאה) בנוסחה הבאה:

$$y' = b + w_1x_1 + w_2x_2 + … w_nx_n$$

לעומת זאת, היפר-פרמטרים הם הערכים שאתם (או שירות להתאמת היפר-פרמטרים) מספקים למודל. לדוגמה, קצב הלמידה הוא היפר-פרמטר.

כוונון יעיל בפרמטרים

#language

#generativeAI

קבוצה של טכניקות לכוונון עדין של מודל שפה גדול שאומן מראש (PLM) בצורה יעילה יותר מכוונון עדין מלא. בדרך כלל, כוונון יעיל בפרמטרים מכוונן הרבה פחות פרמטרים מאשר כוונון מלא, אבל בדרך כלל הוא יוצר מודל שפה גדול עם ביצועים טובים (או כמעט טובים) כמו מודל שפה גדול שנבנה מכוונון מלא.

השוואה בין כוונון יעיל בפרמטרים לבין:

• instruction tuning
• שיפור הנחיות

כוונון יעיל בפרמטרים נקרא גם כוונון עדין ויעיל בפרמטרים.

שרת פרמטרים (PS)

#TensorFlow

משימה שעוקבת אחרי הפרמטרים של מודל בהגדרה מבוזרת.

עדכון הפרמטרים

הפעולה של התאמת הפרמטרים של מודל במהלך האימון, בדרך כלל במסגרת איטרציה אחת של ירידת גרדיאנט.

נגזרת חלקית

נגזרת שבה כל המשתנים, למעט אחד, נחשבים לקבועים. לדוגמה, הנגזרת החלקית של f(x, y) ביחס ל-x היא הנגזרת של f שנחשבת כפונקציה של x בלבד (כלומר, כש-y קבוע). הנגזרת החלקית של f ביחס ל-x מתמקדת רק בשינוי של x ומתעלמת מכל המשתנים האחרים במשוואה.

הטיית השתתפות

#responsible

מילה נרדפת להטיית אי-תגובה. ראו הטיית בחירה.

אסטרטגיית חלוקה למחיצות

האלגוריתם שבאמצעותו המשתנים מחולקים בין שרתי הפרמטרים.

pass at k (pass@k)

#Metric

מדד לקביעת איכות הקוד (לדוגמה, Python) שנוצר על ידי מודל שפה גדול. באופן ספציפי יותר, הערך k של pass מציין את הסבירות שלפחות בלוק קוד אחד מתוך k בלוקים של קוד שנוצרו יעבור את כל בדיקות היחידה שלו.

למודלים גדולים של שפה (LLM) יש לעיתים קרובות קושי ליצור קוד טוב לבעיות תכנות מורכבות. מהנדסי תוכנה מתמודדים עם הבעיה הזו על ידי הנחיית המודל הגדול של השפה ליצור כמה (k) פתרונות לאותה בעיה. לאחר מכן, מהנדסי תוכנה בודקים כל אחד מהפתרונות באמצעות בדיקות יחידה. החישוב של pass@k תלוי בתוצאה של בדיקות היחידה:

• אם אחד או יותר מהפתרונות האלה עוברים את בדיקת היחידה, אז ה-LLM עובר את האתגר של יצירת הקוד.
• אם אף אחד מהפתרונות לא עובר את בדיקת היחידה, ה-LLM נכשל באתגר הזה של יצירת קוד.

הנוסחה לחישוב שיעור ההעברה ב-k היא:

\[\text{pass at k} = \frac{\text{total number of passes}} {\text{total number of challenges}}\]

באופן כללי, ערכים גבוהים יותר של k מניבים ציונים גבוהים יותר של מעבר ב-k. עם זאת, ערכים גבוהים יותר של k דורשים יותר משאבים של מודלים גדולים של שפה ובדיקות יחידה.

לוחצים על הסמל כדי לראות דוגמה.

נניח שמהנדס תוכנה מבקש ממודל שפה גדול ליצור k=10 פתרונות ל-n=50 בעיות מאתגרות בתכנות. אלה התוצאות:

• 30 כרטיסים
• 20 נכשלו

לכן, הציון שמעיד על מעבר הוא 10:

$$\text{pass at 10} = \frac{\text{30}} {\text{50}} = 0.6$$

---

Pathways Language Model (PaLM)

מודל ישן יותר, שקדם למודלים של Gemini.

Pax

#generativeAI

‫מודלים של רשתות נוירונים בקנה מידה גדול, כלומר מודלים כל כך גדולים שהם מתפרסים על פני כמה פרוסות או אשכולות של שבבי האצה מסוג TPU.

‫Pax מבוסס על Flax, שמבוסס על JAX.

פרספטרון

מערכת (חומרה או תוכנה) שמקבלת ערך קלט אחד או יותר, מפעילה פונקציה על הסכום המשוקלל של הקלטים ומחשבת ערך פלט יחיד. בלמידת מכונה, הפונקציה היא בדרך כלל לא לינארית, כמו ReLU,‏ sigmoid או tanh. לדוגמה, הפרספטרון הבא מסתמך על פונקציית הסיגמואיד כדי לעבד שלושה ערכי קלט:

$$f(x_1, x_2, x_3) = \text{sigmoid}(w_1 x_1 + w_2 x_2 + w_3 x_3)$$

באיור הבא, הפרספטרון מקבל שלושה קלטים, שכל אחד מהם עובר שינוי באמצעות משקל לפני שהוא נכנס לפרספטרון:

פרספטרונים הם הנוירונים ברשתות נוירונים.

ביצועים

#Metric

מונח עם עומס יתר שכולל את המשמעויות הבאות:

• המשמעות הסטנדרטית בהנדסת תוכנה. כלומר: עד כמה התוכנה הזו פועלת מהר (או ביעילות)?
• המשמעות בהקשר של למידת מכונה. התשובה לשאלה הבאה: עד כמה המודל הזה מדויק? כלומר, עד כמה התחזיות של המודל טובות?

חשיבות משתנים בתמורה

#df

#Metric

סוג של חשיבות משתנה שמעריך את העלייה בשגיאת החיזוי של מודל אחרי שינוי הערכים של התכונה. חשיבות המשתנה בפרמוטציה היא מדד שלא תלוי במודל.

בלבול

#Metric

מדד אחד שמשקף את מידת ההצלחה של מודל בהשגת המטרה שלו. לדוגמה, נניח שהמשימה שלכם היא לקרוא את כמה האותיות הראשונות של מילה שמשתמש מקליד במקלדת של טלפון, ולהציע רשימה של מילים אפשריות להשלמה. הערך של מידת ההסתבכות, P, למשימה הזו הוא בערך מספר הניחושים שצריך להציע כדי שהרשימה תכיל את המילה שהמשתמש מנסה להקליד.

המדד Perplexity קשור לcross-entropy באופן הבא:

$$P= 2^{-\text{cross entropy}}$$

צינור עיבוד נתונים

התשתית שמקיפה אלגוריתם של למידת מכונה. הצינור כולל איסוף של הנתונים, הכנסת הנתונים לקבצים של נתוני אימון, אימון של מודל אחד או יותר וייצוא המודלים לסביבת הייצור.

מידע נוסף זמין במאמר צינורות ML בקורס בנושא ניהול פרויקטים של ML.

צינור עיבוד נתונים

#language

סוג של מקביליות מודל שבו העיבוד של מודל מחולק לשלבים עוקבים, וכל שלב מבוצע במכשיר אחר. בזמן ששלב מסוים מעבד אצווה אחת, השלב הקודם יכול לעבוד על האצווה הבאה.

אפשר גם לעיין במאמר בנושא הדרכה בשלבים.

pjit

פונקציית JAX שמפצלת קוד להרצה בכמה שבבי האצה. המשתמש מעביר פונקציה ל-pjit, שמחזירה פונקציה עם סמנטיקה שוות ערך, אבל היא עוברת קומפילציה לחישוב XLA שפועל בכמה מכשירים (כמו ליבות של GPU או TPU).

‫pjit מאפשר למשתמשים לפצל חישובים בלי לשכתב אותם באמצעות מחלקת המחיצות SPMD.

נכון למרץ 2023, ‏pjit מוזג עם jit. פרטים נוספים זמינים במאמר בנושא מערכים מבוזרים והקבלה אוטומטית.

PLM

#language

#generativeAI

קיצור של מודל שפה שעבר אימון מראש.

pmap

פונקציית JAX שמבצעת עותקים של פונקציית קלט במכשירי חומרה בסיסיים מרובים (מעבדי CPU, מעבדי GPU או TPU), עם ערכי קלט שונים. הפונקציה pmap מסתמכת על SPMD.

policy

#rl

בלמידת חיזוק, מיפוי הסתברותי של סוכן ממצבים לפעולות.

איגום

#image

הקטנת מטריצה (או מטריצות) שנוצרה על ידי שכבת קונבולוציה קודמת למטריצה קטנה יותר. בדרך כלל, איגום נתונים כולל שימוש בערך המקסימלי או הממוצע של האזור המאוגם. לדוגמה, נניח שיש לנו את מטריצת 3x3 הבאה:

פעולת Pooling, כמו פעולת Convolutional, מחלקת את המטריצה לפרוסות ואז מחליקה את פעולת ה-Convolutional בצעדים. לדוגמה, נניח שפעולת האיגום מחלקת את מטריצת הקונבולוציה לפרוסות בגודל 2x2 עם צעד של 1x1. כפי שאפשר לראות בתרשים הבא, מתבצעות ארבע פעולות של שיתוף משאבים. נניח שכל פעולת איגום בוחרת את הערך המקסימלי מתוך ארבעת הערכים בפרוסה הזו:

האיגום עוזר לאכוף אינווריאנטיות תרגומית במטריצת הקלט.

האיגום ליישומי ראייה נקרא באופן רשמי יותר איגום מרחבי. בדרך כלל, ביישומים של סדרות עיתיות, איגום נקרא איגום זמני. בשימוש פחות רשמי, לפעולת ה-Pooling קוראים לעיתים קרובות subsampling או downsampling.

אפשר לעיין במאמר היכרות עם רשתות עצביות מתקפלות בקורס 'סדנת למידה חישובית: סיווג תמונות'.

קידוד לפי מיקום

#language

שיטה להוספת מידע על המיקום של טוקן ברצף להטמעה של הטוקן. מודלים מסוג טרנספורמר משתמשים בקידוד מיקום כדי להבין טוב יותר את הקשר בין חלקים שונים ברצף.

בדרך כלל, קידוד לפי מיקום מבוסס על פונקציה סינוסואידית. (באופן ספציפי, התדירות והמשרעת של הפונקציה הסינוסואידית נקבעות לפי המיקום של הטוקן ברצף). הטכניקה הזו מאפשרת למודל Transformer ללמוד להתמקד בחלקים שונים של הרצף על סמך המיקום שלהם.

סיווג חיובי

#fundamentals

#Metric

הכיתה שאתם נבחנים בה.

לדוגמה, המחלקה החיובית במודל לסרטן יכולה להיות 'גידול'. הסיווג החיובי במודל סיווג של אימייל יכול להיות 'ספאם'.

ההפך מכיתה שלילית.

כדי לראות הערות נוספות, לוחצים על הסמל.

המונח סיווג חיובי עלול לבלבל, כי התוצאה ה'חיובית' של הרבה בדיקות היא לרוב תוצאה לא רצויה. לדוגמה, הסיווג החיובי בהרבה בדיקות רפואיות מתאים לגידולים או למחלות. באופן כללי, אתם רוצים לשמוע מרופא את המילים: "מזל טוב! תוצאות הבדיקה שלך היו שליליות". בכל מקרה, המחלקה החיובית היא האירוע שהבדיקה מנסה למצוא.

אמנם, אתם בודקים בו-זמנית את המחלקות החיוביות והשליליות.

---

עיבוד תמונה (Post Processing)

#responsible

#fundamentals

שינוי הפלט של מודל אחרי שהמודל הופעל. אפשר להשתמש בעיבוד שלאחר מכן כדי לאכוף אילוצי הוגנות בלי לשנות את המודלים עצמם.

לדוגמה, אפשר להחיל עיבוד לאחר העיבוד על מסווג בינארי על ידי הגדרת סף סיווג כך ששוויון הזדמנויות יישמר עבור מאפיין מסוים. כדי לעשות זאת, צריך לוודא ששיעור החיוביים האמיתיים זהה לכל הערכים של אותו מאפיין.

מודל שעבר אימון נוסף

#language

#image

#generativeAI

מונח לא מוגדר היטב שמתייחס בדרך כלל למודל שעבר אימון מקדים ועבר עיבוד כלשהו, כמו אחד או יותר מהשלבים הבאים:

• זיקוק
• כוונון עדין
• התאמה להוראות

PR AUC (השטח מתחת לעקומת הדיוק וההחזרה)

#Metric

השטח מתחת לעקומת הדיוק וההחזרה שחושבה באמצעות אינטרפולציה, שמתקבלת משרטוט נקודות (החזרה, דיוק) עבור ערכים שונים של סף הסיווג.

Praxis

ספריית ליבה של Pax ללמידת מכונה (ML) עם ביצועים גבוהים. ל-Praxis קוראים לעיתים קרובות 'ספריית השכבות'.

‫Praxis מכיל לא רק את ההגדרות של מחלקת Layer, אלא גם את רוב רכיבי התמיכה שלה, כולל:

• קלט של נתונים
• ספריות הגדרה (HParam ו-Fiddle)
• optimizers

‫Praxis מספק את ההגדרות של המחלקה Model.

דיוק

#fundamentals

#Metric

מדד למודלים של סיווג שעונה על השאלה הבאה:

כשהמודל חזה את הסיווג החיובי, מה אחוז החיזויים הנכונים?

זו הנוסחה:

$$\text{Precision} = \frac{\text{true positives}} {\text{true positives} + \text{false positives}}$$

where:‎

• חיובי אמיתי פירושו שהמודל חזה נכון את המחלקה החיובית.
• תוצאה חיובית שגויה פירושה שהמודל טעה וחיזוי את הסיווג החיובי.

לדוגמה, נניח שמודל יצר 200 תחזיות חיוביות. מתוך 200 התחזיות החיוביות האלה:

• 150 היו חיוביים אמיתיים.
• 50 מהן היו תוצאות חיוביות שגויות.

במקרה זה:

$$\text{Precision} = \frac{\text{150}} {\text{150} + \text{50}} = 0.75$$

ההגדרה הזו שונה מדיוק ומהחזרה.

מידע נוסף זמין במאמר בנושא סיווג: דיוק, היזכרות, פרסיזיה ומדדים קשורים בסדנה ללמידת מכונה.

דיוק ב-k‏ (precision@k)

#language

#Metric

מדד להערכת רשימה מדורגת (מסודרת) של פריטים. המדד 'דיוק ב-k' מזהה את החלק של k הפריטים הראשונים ברשימה שהם 'רלוונטיים'. כלומר:

\[\text{precision at k} = \frac{\text{relevant items in first k items of the list}} {\text{k}}\]

הערך של k צריך להיות קטן מאורך הרשימה שמוחזרת או שווה לו. שימו לב שאורך הרשימה שמוחזרת לא נכלל בחישוב.

רלוונטיות היא לרוב סובייקטיבית. אפילו בודקים אנושיים מומחים חלוקים בדעתם לגבי הפריטים הרלוונטיים.

השווה ל:

• דיוק ממוצע ב-k
• דיוק ממוצע ב-k

כדי לראות דוגמה, לוחצים על הסמל.

נניח שמודל שפה גדול מקבל את השאילתה הבאה:

List the 6 funniest movies of all time in order.

מודל השפה הגדול מחזיר את הרשימה שמוצגת בשתי העמודות הראשונות של הטבלה הבאה:

מיקום	סרט	רלוונטי?
1	הגנרל	כן
2	Mean Girls	כן
3	Platoon	לא
4	שושבינות	כן
5	האזרח קיין	לא
6	This is Spinal Tap	כן

שניים מתוך שלושת הסרטים הראשונים רלוונטיים, לכן רמת הדיוק ב-3 היא:

$$\text{precision at 3} = \frac{\text{2}} {\text{3}} = 0.67$$

ארבעה מתוך חמשת הסרטים הראשונים מצחיקים מאוד, ולכן הדיוק ב-5 הוא:

$$\text{precision at 5} = \frac{\text{4}} {\text{5}} = 0.8$$

---

עקומת דיוק-החזרה

#Metric

עקומת הדיוק לעומת ההחזרה בספי סיווג שונים.

חיזוי (prediction)

#fundamentals

הפלט של המודל. לדוגמה:

• החיזוי של מודל סיווג בינארי הוא או הסיווג החיובי או הסיווג השלילי.
• החיזוי של מודל סיווג רב-מחלקתי הוא מחלקה אחת.
• החיזוי של מודל רגרסיה לינארית הוא מספר.

הטיה בתחזית

#Metric

ערך שמציין את המרחק בין הממוצע של התחזיות לבין הממוצע של התוויות במערך הנתונים.

לא להתבלבל עם מונח ההטיה במודלים של למידת מכונה או עם הטיה באתיקה ובהוגנות.

למידת מכונה חזויה

כל מערכת למידת מכונה רגילה (קלאסית).

למונח predictive ML אין הגדרה רשמית. המונח הזה מבחין בין קטגוריה של מערכות ML שלא מבוססות על AI גנרטיבי.

שוויון חזוי

#responsible

#Metric

מדד הוגנות שבודק אם שיעורי הדיוק של מסווג נתון שווים עבור קבוצות משנה שנבדקות.

לדוגמה, מודל שמנבא קבלה למכללה יעמוד בדרישות של שוויון חיזוי לפי לאום אם שיעור הדיוק שלו יהיה זהה עבור אנשים מליליפוט ואנשים מברובדינגנאג.

לפעמים קוראים לשיטת התמחור הזו גם שיטת תמחור חזויה.

בסעיף 3.2.1 במאמר הסברים על הגדרות ההוגנות מופיע דיון מפורט יותר בנושא שוויון חיזוי.

השוואת מחירים חזויה

#responsible

#Metric

שם נוסף לשוויון חיזוי.

עיבוד מקדים

#responsible

עיבוד נתונים לפני שמשתמשים בהם לאימון מודל. העיבוד המקדים יכול להיות פשוט כמו הסרת מילים ממאגר טקסט באנגלית שלא מופיעות במילון האנגלי, או מורכב כמו שינוי של נקודות נתונים באופן שמבטל כמה שיותר מאפיינים שקשורים למאפיינים רגישים. עיבוד מקדים יכול לעזור לעמוד במגבלות הוגנות.

מודל שעבר אימון מראש

#language

#image

#generativeAI

למרות שהמונח הזה יכול להתייחס לכל מודל שעבר אימון או לווקטור הטמעה שעבר אימון, כיום המונח 'מודל שעבר אימון מראש' מתייחס בדרך כלל למודל גדול של שפה שעבר אימון או לצורה אחרת של מודל בינה מלאכותית גנרטיבית שעבר אימון.

אפשר לעיין גם בערכים מודל בסיס ומודל בסיסי.

אימון מראש

#language

#image

#generativeAI

אימון ראשוני של מודל על מערך נתונים גדול. חלק מהמודלים שעברו אימון מראש הם מודלים גדולים ומסורבלים, ובדרך כלל צריך לשפר אותם באמצעות אימון נוסף. לדוגמה, מומחים ללמידת מכונה יכולים לאמן מראש מודל שפה גדול על מערך נתונים עצום של טקסט, כמו כל הדפים באנגלית בוויקיפדיה. אחרי האימון המקדים, אפשר לשפר את המודל שנוצר באמצעות אחת מהטכניקות הבאות:

• זיקוק
• כוונון עדין
• instruction tuning
• כוונון יעיל בפרמטרים
• שיפור הנחיה

אמונה קודמת

מה אתם חושבים על הנתונים לפני שמתחילים לאמן את המודל על סמך הנתונים האלה. לדוגמה, רגולריזציה מסוג _L2 מסתמכת על הנחה מוקדמת שמשקלים צריכים להיות קטנים ולהתפלג באופן נורמלי סביב האפס.

Pro

#generativeAI

מודל Gemini עם פחות פרמטרים מ-Ultra אבל יותר פרמטרים מ-Nano. פרטים נוספים זמינים במאמר בנושא Gemini Pro.

מודל רגרסיה הסתברותי

מודל רגרסיה שמשתמש לא רק במשקלים של כל תכונה, אלא גם במידת אי הוודאות של המשקלים האלה. מודל רגרסיה הסתברותי יוצר חיזוי ואת אי הוודאות של החיזוי הזה. לדוגמה, מודל רגרסיה הסתברותי עשוי להניב תחזית של 325 עם סטיית תקן של 12. מידע נוסף על מודלים של רגרסיה הסתברותית זמין ב-Colab בכתובת tensorflow.org.

פונקציית צפיפות ההסתברות

#Metric

פונקציה שמזהה את התדירות של דגימות נתונים עם ערך מסוים בדיוק. כשערכים במערך נתונים הם מספרים רציפים עם נקודה עשרונית, התאמות מדויקות הן נדירות. עם זאת, שילוב של פונקציית צפיפות הסתברות מהערך x לערך y מניב את התדירות הצפויה של דגימות נתונים בין x ל-y.

לדוגמה, נניח שיש התפלגות נורמלית עם ממוצע של 200 וסטיית תקן של 30. כדי לקבוע את התדירות הצפויה של דגימות נתונים שנמצאות בטווח 211.4 עד 218.7, אפשר לבצע אינטגרציה של פונקציית צפיפות ההסתברות להתפלגות נורמלית מ-211.4 עד 218.7.

הנחיה

#language

#generativeAI

כל טקסט שמוזן כקלט למודל שפה גדול כדי להתנות את המודל להתנהג בצורה מסוימת. ההנחיות יכולות להיות קצרות כמו ביטוי, או ארוכות מאוד (לדוגמה, כל הטקסט של רומן). ההנחיות מחולקות לכמה קטגוריות, כולל אלה שמוצגות בטבלה הבאה:

קטגוריית ההנחיה	דוגמה	הערות
שאלה	כמה מהר יכולה לטוס יונה?
הוראות	תכתוב שיר מצחיק על ארביטראז'.	פרומפט שמבקש ממודל שפה גדול לעשות משהו.
דוגמה	תרגום קוד Markdown ל-HTML. לדוגמה: ‫Markdown:‏ * list item ‫HTML:‏ <ul> <li>list item</li> </ul>	המשפט הראשון בהנחיה לדוגמה הזו הוא הוראה. שאר ההנחיה היא הדוגמה.
תפקיד	תסביר למה משתמשים בשיטת גרדיאנט ירידה באימון של למידת מכונה, ברמה של דוקטורט בפיזיקה.	החלק הראשון של המשפט הוא הוראה, והביטוי "to a PhD in Physics" הוא החלק שמתאר את התפקיד.
קלט חלקי שהמודל צריך להשלים	ראש ממשלת בריטניה מתגורר בכתובת	הנחיה חלקית לקלט יכולה להסתיים בפתאומיות (כמו בדוגמה הזו) או להסתיים בקו תחתון.

מודל בינה מלאכותית גנרטיבית יכול להגיב להנחיה באמצעות טקסט, קוד, תמונות, הטמעות, סרטונים… כמעט כל דבר.

למידה מבוססת-הנחיות

#language

#generativeAI

יכולת של מודלים מסוימים שמאפשרת להם להתאים את ההתנהגות שלהם בתגובה לקלט טקסט שרירותי (הנחיות). בפרדיגמה טיפוסית של למידה מבוססת-הנחיות, מודל שפה גדול מגיב להנחיה על ידי יצירת טקסט. לדוגמה, נניח שמשתמש מזין את ההנחיה הבאה:

סכמו את חוק התנועה השלישי של ניוטון.

מודל שיכול ללמוד על סמך הנחיות לא עובר אימון ספציפי כדי לענות על ההנחיה הקודמת. במקום זאת, המודל 'יודע' הרבה עובדות על פיזיקה, הרבה על כללי שפה כלליים והרבה על מה נחשב לתשובות שימושיות באופן כללי. הידע הזה מספיק כדי לספק תשובה (בתקווה) מועילה. משוב אנושי נוסף ("התשובה הזו הייתה מסובכת מדי" או "מה זה תגובה?") מאפשר למערכות מסוימות של למידה מבוססת-הנחיה לשפר בהדרגה את התועלת של התשובות שלהן.

עיצוב הנחיות

#language

#generativeAI

מילה נרדפת ל-הנדסת הנחיות.

הנדסת הנחיות

#language

#generativeAI

האומנות של יצירת הנחיות שמניבות את התשובות הרצויות ממודל שפה גדול. בני אדם מבצעים הנדסת הנחיות. כדי לקבל תשובות מועילות ממודל שפה גדול, חשוב לכתוב הנחיות מובנות היטב. הנדסת הנחיות תלויה בהרבה גורמים, כולל:

• מערך הנתונים שמשמש לאימון מקדים ולכוונון עדין של מודל השפה הגדול.
• הטמפרטורה ופרמטרים אחרים של פענוח שהמודל משתמש בהם כדי ליצור תשובות.

עיצוב פרומפטים הוא מילה נרדפת להנדסת פרומפטים.

במאמר הזה מוסבר איך לכתוב הנחיות מועילות.

כוונון הנחיות

#language

#generativeAI

מנגנון כוונון יעיל בפרמטרים שלומד "קידומת" שהמערכת מוסיפה לפני ההנחיה עצמה.

אחת מהווריאציות של שיפור ההנחיות – שנקראת לפעמים שיפור התחילית – היא הוספת התחילית לכל שכבה. לעומת זאת, ברוב המקרים של שיפור הנחיות מוסיפים רק קידומת לשכבת הקלט.

כדי לקבל מידע נוסף על קידומות, לוחצים על הסמל.

בשיפור הנחיות, הקידומת (שנקראת גם הנחיה רכה) היא קבוצה קטנה של וקטורים שנלמדו וספציפיים למשימה, שמוצמדים לפני הטמעות של טוקנים של טקסט מההנחיה בפועל. המערכת לומדת את ההנחיה הרכה על ידי הקפאת כל שאר הפרמטרים של המודל וביצוע התאמה עדינה למשימה ספציפית.

---

proxy (מאפיינים רגישים)

#responsible

מאפיין שמשמש כתחליף למאפיין רגיש. לדוגמה, יכול להיות שמיקוד של אדם מסוים ישמש כפרוקסי לנתונים כמו הכנסה, גזע או מוצא אתני.

תוויות לשרת proxy

#fundamentals

הנתונים שמשמשים לחישוב משוער של התוויות לא זמינים ישירות במערך נתונים.

לדוגמה, נניח שאתם צריכים לאמן מודל כדי לחזות את רמת הלחץ של העובדים. מערך הנתונים מכיל הרבה תכונות חיזוי, אבל לא מכיל תווית בשם stress level (רמת לחץ). אתם לא מתייאשים ובוחרים בתווית 'תאונות במקום העבודה' כתווית חלופית לרמת הלחץ. בסופו של דבר, עובדים שנמצאים במתח גבוה מעורבים ביותר תאונות מעובדים רגועים. או שכן? יכול להיות שתאונות במקומות עבודה עולות ויורדות בפועל מכמה סיבות.

דוגמה נוספת: נניח שאתם רוצים שהתווית is it raining? תהיה תווית בוליאנית למערך הנתונים שלכם, אבל מערך הנתונים לא מכיל נתוני גשם. אם יש תמונות זמינות, יכול להיות שתגדירו תמונות של אנשים עם מטריות כתווית פרוקסי לשאלה is it raining? (האם יורד גשם?). האם זו תווית טובה לשימוש כפרוקסי? יכול להיות, אבל אנשים בתרבויות מסוימות נוטים יותר לשאת מטרייה כדי להגן על עצמם מפני השמש ולא מפני הגשם.

תוויות של שרתי proxy הן לרוב לא מושלמות. במידת האפשר, עדיף לבחור תוויות בפועל ולא תוויות פרוקסי. עם זאת, אם אין תווית בפועל, צריך לבחור את תווית ה-proxy בזהירות רבה, ולבחור את המועמדת הכי פחות גרועה לתווית proxy.

מידע נוסף זמין במאמר Datasets: Labels (קבוצות נתונים: תוויות) בקורס המקוצר על למידת מכונה.

פונקציה טהורה

פונקציה שהפלט שלה מבוסס רק על הקלט שלה, ואין לה תופעות לוואי. במילים אחרות, פונקציה טהורה לא משתמשת במצב גלובלי ולא משנה אותו, כמו התוכן של קובץ או הערך של משתנה מחוץ לפונקציה.

אפשר להשתמש בפונקציות טהורות כדי ליצור קוד בטוח לשימוש עם שרשורים, וזה מועיל כשמבצעים שרדינג של קוד מודל בכמה שבבי האצה.

שיטות הטרנספורמציה של פונקציות ב-JAX מחייבות שהפונקציות שמוזנות יהיו פונקציות טהורות.

Q

פונקציית Q

#rl

בלמידת חיזוק, הפונקציה שמנבאת את התשואה הצפויה מביצוע פעולה במצב מסוים, ולאחר מכן פועלת לפי מדיניות נתונה.

פונקציית Q נקראת גם פונקציית ערך של מצב-פעולה.

Q-learning

#rl

בלמידת חיזוק, אלגוריתם שמאפשר לסוכן ללמוד את פונקציית Q האופטימלית של תהליך קבלת החלטות של מרקוב באמצעות משוואת בלמן. מודלים של תהליך קבלת החלטות של מרקוב (MDP) הם מודלים של סביבה.

quantile

כל קטגוריה בקטגוריות של קוונטילים.

חלוקה לקוונטילים

חלוקת הערכים של מאפיין לדליים כך שכל דלי מכיל את אותו מספר דוגמאות (או כמעט אותו מספר דוגמאות). לדוגמה, באיור הבא, 44 נקודות מחולקות ל-4 קטגוריות, שכל אחת מהן מכילה 11 נקודות. כדי שכל קטגוריה באיור תכיל את אותו מספר נקודות, חלק מהקטגוריות משתרעות על רוחב שונה של ערכי x.

מידע נוסף מופיע במאמר נתונים מספריים: חלוקה לקטגוריות בקורס המקוצר על למידת מכונה.

קוונטיזציה

מונח עמוס שיכול לשמש בכל אחת מהדרכים הבאות:

• הטמעה של חלוקה לקבוצות לפי אחוזון בתכונה מסוימת.
• הפיכת הנתונים לאפסים ולאחדות כדי לאחסן, לאמן ולהסיק מסקנות מהר יותר. נתונים בוליאניים עמידים יותר לרעשי רקע ולשגיאות בהשוואה לפורמטים אחרים, ולכן כימות יכול לשפר את נכונות המודל. טכניקות הכימות כוללות עיגול, חיתוך וחלוקה לתאים.

• הפחתת מספר הביטים שמשמשים לאחסון הפרמטרים של מודל. לדוגמה, נניח שהפרמטרים של מודל מאוחסנים כמספרים נקודה צפה (floating-point) של 32 ביט. קוונטיזציה ממירה את הפרמטרים האלה מ-32 ביט ל-4, 8 או 16 ביט. הכימות מצמצם את:

  • שימוש במחשוב, בזיכרון, בדיסק וברשת
  • הזמן להסקת תחזית
  • צריכת חשמל

  עם זאת, לפעמים הכמתה מפחיתה את רמת הדיוק של התחזיות של המודל.

רשימת סרטונים

#TensorFlow

‫Operation של TensorFlow שמטמיע מבנה נתונים של תור. בדרך כלל נמצא בשימוש בקלט/פלט.

R

RAG

#fundamentals

קיצור של retrieval-augmented generation (יצירה משופרת באמצעות אחזור).

יער אקראי

#df

אנסמבל של עצי החלטה שבהם כל עץ החלטה מאומן עם רעש אקראי ספציפי, כמו bagging.

יערות אקראיים הם סוג של יער החלטות.

מידע נוסף זמין במאמר Random Forest (יער אקראי) בקורס בנושא Decision Forests (יערות החלטה).

מדיניות אקראית

#rl

בלמידת חיזוק, מדיניות שבוחרת פעולה באופן אקראי.

rank (ordinality)

המיקום הסידורי של מחלקה בבעיית למידה חישובית שמסווגת מחלקות מהגבוה לנמוך. לדוגמה, מערכת דירוג התנהגות יכולה לדרג את התגמולים לכלב מהגבוה ביותר (סטייק) לנמוך ביותר (כרוב עלים נבול).

rank (Tensor)

#TensorFlow

מספר המאפיינים ב-Tensor. לדוגמה, לערך סקלרי יש דרגה 0, לווקטור יש דרגה 1 ולמטריצה יש דרגה 2.

לא להתבלבל עם דירוג (סדר).

דירוג

סוג של למידה מונחית שמטרתה לסדר רשימה של פריטים.

מעריך

#fundamentals

אדם שמספק תוויות לדוגמאות. 'מבאר' הוא שם נוסף ל'מדרג'.

מידע נוסף זמין במאמר נתונים קטגוריים: בעיות נפוצות בסדנת למידת מכונה.

recall

#fundamentals

#Metric

מדד למודלים של סיווג שעונה על השאלה הבאה:

כאשר האמת הבסיסית הייתה הסיווג החיובי, מהו אחוז התחזיות שהמודל זיהה נכון כסיווג החיובי?

זו הנוסחה:

\[\text{Recall} = \frac{\text{true positives}} {\text{true positives} + \text{false negatives}} \]

where:‎

• חיובי אמיתי פירושו שהמודל חזה נכון את המחלקה החיובית.
• תוצאה שלילית שגויה פירושה שהמודל טעה וחיזוי את הסיווג השלילי.

לדוגמה, נניח שהמודל שלכם יצר 200 תחזיות לגבי דוגמאות שבהן האמת הבסיסית הייתה הסיווג החיובי. מתוך 200 התחזיות האלה:

• 180 היו תוצאות חיוביות אמיתיות.
• 20 מהן היו תוצאות שליליות מטעות.

במקרה זה:

\[\text{Recall} = \frac{\text{180}} {\text{180} + \text{20}} = 0.9 \]

לוחצים על הסמל כדי לראות הערות לגבי מערכי נתונים עם חוסר איזון בין הכיתות.

המדד Recall שימושי במיוחד לקביעת יכולת החיזוי של מודלים לסיווג שבהם המחלקה החיובית היא נדירה. לדוגמה, נניח שיש מערך נתונים עם חוסר איזון בין המחלקות שבו המחלקה החיובית למחלה מסוימת מופיעה רק אצל 10 מתוך מיליון מטופלים. נניח שהמודל שלכם מבצע חמישה מיליון חיזויים שמניבים את התוצאות הבאות:

• ‫30 חיוביים אמיתיים
• 20 תוצאות שליליות כוזבות
• ‫4,999,000 תוצאות שליליות אמיתיות
• 950 תוצאות חיוביות שגויות

לכן, ערך ה-recall של המודל הזה הוא:

recall = TP / (TP + FN)
recall = 30 / (30 + 20) = 0.6 = 60%

לעומת זאת, רמת הדיוק של המודל הזה היא:

accuracy = (TP + TN) / (TP + TN + FP + FN)
accuracy = (30 + 4,999,000) / (30 + 4,999,000 + 950 + 20) = 99.98%

ערך הדיוק הגבוה הזה נראה מרשים, אבל הוא חסר משמעות. המדד Recall שימושי הרבה יותר למערכי נתונים לא מאוזנים מבחינת כמות הנתונים בכל מחלקה מאשר המדד Accuracy.

---

מידע נוסף זמין במאמר סיווג: דיוק, היזכרות, פרסיזיה ומדדים קשורים.

ריקול ב-k (recall@k)

#language

#Metric

מדד להערכת מערכות שמפיקות רשימה מדורגת (מסודרת) של פריטים. המדד Recall at k מזהה את החלק של הפריטים הרלוונטיים מתוך k הפריטים הראשונים ברשימה מתוך המספר הכולל של הפריטים הרלוונטיים שהוחזרו.

\[\text{recall at k} = \frac{\text{relevant items in first k items of the list}} {\text{total number of relevant items in the list}}\]

השוואה עם דיוק ב-k.

כדי לראות דוגמה, לוחצים על הסמל.

נניח שמודל שפה גדול מקבל את השאילתה הבאה:

List the 10 funniest movies of all time in order.

מודל השפה הגדול מחזיר את הרשימה שמוצגת בשתי העמודות הראשונות:

מיקום	סרט	רלוונטי?
1	הגנרל	כן
2	Mean Girls	כן
3	Platoon	לא
4	שושבינות	כן
5	This is Spinal Tap	כן
6	מטוס!	כן
7	יום המרמיטה	כן
8	Monty Python and the Holy Grail	כן
9	אופנהיימר	לא
10	Clueless	כן

שמונה מהסרטים ברשימה הקודמת הם מצחיקים מאוד, ולכן הם 'פריטים רלוונטיים ברשימה'. לכן, 8 יהיה המכנה בכל החישובים של ההחזרה ב-k. מה לגבי המונה? ובכן, 3 מתוך 4 הפריטים הראשונים רלוונטיים, ולכן ההחזרה ב-4 היא:

$$\text{recall at 4} = \frac{\text{3}} {\text{8}} = 0.375$$

7 מתוך 8 הסרטים הראשונים מצחיקים מאוד, ולכן רמת הזכירה בסרטון 8 היא:

$$\text{recall at 8} = \frac{\text{7}} {\text{8}} = 0.875$$

---

מערכת ההמלצות

#recsystems

מערכת שבוחרת לכל משתמש קבוצה קטנה יחסית של פריטים רצויים מתוך מאגר גדול. לדוגמה, מערכת להמלצה על סרטונים עשויה להמליץ על שני סרטונים מתוך מאגר של 100,000 סרטונים. היא תבחר את הסרטונים קזבלנקה וסיפור פילדלפיה למשתמש אחד, ואת הסרטונים וונדר וומן והפנתר השחור למשתמש אחר. מערכת להמלצות על סרטונים עשויה לבסס את ההמלצות שלה על גורמים כמו:

• סרטים שמשתמשים דומים דירגו או צפו בהם.
• ז'אנר, במאים, שחקנים, קבוצה דמוגרפית לטירגוט...

מידע נוסף זמין בקורס בנושא מערכות המלצות.

יחידת תיקון לינארית (ReLU)

#fundamentals

פונקציית הפעלה עם ההתנהגות הבאה:

• אם הקלט שלילי או אפס, הפלט הוא 0.
• אם הקלט חיובי, הפלט שווה לקלט.

לדוגמה:

• אם הקלט הוא ‎-3, הפלט הוא 0.
• אם הקלט הוא ‎+3, הפלט הוא 3.0.

הנה גרף של ReLU:

‫ReLU היא פונקציית הפעלה פופולרית מאוד. למרות ההתנהגות הפשוטה שלה, ReLU עדיין מאפשרת לרשת נוירונים ללמוד על קשרים לא לינאריים בין תכונות לבין התווית.

רשת נוירונים חוזרת

#seq

רשת נוירונים שמופעלת בכוונה כמה פעמים, כשחלקים מכל הפעלה מוזנים להפעלה הבאה. באופן ספציפי, שכבות מוסתרות מההרצה הקודמת מספקות חלק מהקלט לאותה שכבה מוסתרת בהרצה הבאה. רשתות נוירונים חוזרות שימושיות במיוחד להערכת רצפים, כך שהשכבות הנסתרות יכולות ללמוד מהרצות קודמות של רשת הנוירונים בחלקים קודמים של הרצף.

לדוגמה, באיור הבא מוצגת רשת נוירונים חוזרת שפועלת ארבע פעמים. שימו לב שהערכים שנלמדו בשכבות הנסתרות מההרצה הראשונה הופכים לחלק מהקלט לאותן שכבות נסתרות בהרצה השנייה. באופן דומה, הערכים שנלמדו בשכבה הנסתרת בהרצה השנייה הופכים לחלק מהקלט לאותה שכבה נסתרת בהרצה השלישית. כך, הרשת העצבית החוזרת מתאמנת בהדרגה ומנבאת את המשמעות של הרצף כולו, ולא רק את המשמעות של מילים בודדות.

טקסט הפניה

#language

#generativeAI

תשובה של מומחה להנחיה. לדוגמה, אם נותנים את ההנחיה הבאה:

תרגם את השאלה "What is your name?‎" מאנגלית לצרפתית.

תשובה של מומחה יכולה להיות:

Comment vous appelez-vous?

מדדים שונים (כמו ROUGE) בודקים עד כמה טקסט ההשוואה תואם לטקסט שנוצר על ידי מודל ML.

הערה: בדרך כלל המומחה הוא אדם, אבל יכול להיות שזה מודל ML.

מודל רגרסיה

#fundamentals

באופן לא רשמי, מודל שיוצר חיזוי מספרי. (לעומת זאת, מודל סיווג יוצר חיזוי של כיתה). לדוגמה, כל המודלים הבאים הם מודלים של רגרסיה:

• מודל שמנבא את הערך של בית מסוים באירו, למשל 423,000.
• מודל שמנבא את תוחלת החיים של עץ מסוים בשנים, למשל 23.2.
• מודל שמנבא את כמות הגשם באינצ'ים שתירד בעיר מסוימת במהלך שש השעות הבאות, למשל 0.18.

שני סוגים נפוצים של מודלים של רגרסיה הם:

• רגרסיה לינארית, שמוצאת את הקו שהכי מתאים לערכי התוויות ולמאפיינים.
• רגרסיה לוגיסטית, שמפיקה הסתברות בין 0.0 ל-1.0, שבדרך כלל ממופה על ידי המערכת לחיזוי של סיווג.

לא כל מודל שמפיק תחזיות מספריות הוא מודל רגרסיה. במקרים מסוימים, חיזוי מספרי הוא למעשה מודל סיווג עם שמות מחלקות מספריים. לדוגמה, מודל שמנבא מיקוד מספרי הוא מודל סיווג ולא מודל רגרסיה.

רגולריזציה (regularization)

#fundamentals

כל מנגנון שמפחית התאמת יתר. סוגים פופולריים של רגולריזציה כוללים:

• רגולריזציה מסוג _L1
• רגולריזציה של _L2
• dropout regularization
• עצירה מוקדמת (זו לא שיטה רשמית של רגולריזציה, אבל היא יכולה להגביל ביעילות את התאמת היתר)

אפשר גם להגדיר רגולריזציה כעונש על מורכבות של מודל.

כדי לראות הערות נוספות, לוחצים על הסמל.

הרגולריזציה היא לא אינטואיטיבית. הגדלת הרגולריזציה בדרך כלל מגדילה את הפסד האימון, וזה מבלבל כי המטרה היא למזער את הפסד האימון.

למעשה, לא. המטרה היא לא למזער את הפסד האימון. המטרה היא ליצור תחזיות מצוינות על דוגמאות מהעולם האמיתי. חשוב לציין שאף על פי שהגדלת הרגולריזציה מגדילה את הפסד האימון, היא בדרך כלל עוזרת למודלים לבצע תחזיות טובות יותר בדוגמאות מהעולם האמיתי.

---

מידע נוסף זמין במאמר התאמת יתר: מורכבות המודל בקורס המקוצר על למידת מכונה.

שיעור הרגולריזציה

#fundamentals

מספר שמציין את החשיבות היחסית של רגולריזציה במהלך האימון. העלאת שיעור הרגולריזציה מפחיתה את ההתאמה העודפת, אבל עשויה להפחית את יכולת החיזוי של המודל. לעומת זאת, הקטנה של שיעור הרגולריזציה או השמטה שלו מגדילות את התאמת היתר.

כדי לראות את המתמטיקה, לוחצים על הסמל.

שיעור הרגולריזציה מיוצג בדרך כלל באמצעות האות היוונית למדא. המשוואה הפשוטה הבאה של loss מראה את ההשפעה של lambda:

$$\text{minimize(loss function + }\lambda\text{(regularization))}$$

כאשר רגולריזציה היא כל מנגנון רגולריזציה, כולל:

• רגולריזציה מסוג _L1
• רגולריזציה של _L2

---

מידע נוסף זמין במאמר התאמת יתר: רגולריזציה מסוג L2 בקורס המקוצר על למידת מכונה.

למידת חיזוק (RL)

#rl

משפחה של אלגוריתמים שמלמדים מדיניות אופטימלית, שמטרתה למקסם את ההחזר באינטראקציה עם סביבה. לדוגמה, התגמול האולטימטיבי ברוב המשחקים הוא ניצחון. מערכות של למידת חיזוק יכולות להפוך למומחיות במשחקים מורכבים על ידי הערכה של רצפים של מהלכים קודמים במשחק שהובילו בסופו של דבר לניצחונות, ורצפים שהובילו בסופו של דבר להפסדים.

למידה ממשוב אנושי (RLHF)

#generativeAI

#rl

שימוש במשוב ממדרגים אנושיים כדי לשפר את איכות התשובות של מודל. לדוגמה, מנגנון RLHF יכול לבקש מהמשתמשים לדרג את איכות התשובה של מודל באמצעות סמלי אמוג'י של לייק 👍 או דיסלייק 👎. לאחר מכן, המערכת יכולה להתאים את התשובות העתידיות שלה על סמך המשוב הזה.

ReLU

#fundamentals

קיצור של Rectified Linear Unit (יחידה לינארית מתוקנת).

מאגר נתונים זמני להפעלה מחדש

#rl

באלגוריתמים דמויי DQN, הזיכרון שבו הסוכן משתמש כדי לאחסן מעברים בין מצבים לשימוש בחזרה על ניסיון.

רפליקה

עותק (או חלק ממנו) של קבוצת נתונים לאימון או של מודל, שבדרך כלל מאוחסן במחשב אחר. לדוגמה, מערכת יכולה להשתמש באסטרטגיה הבאה כדי להטמיע מקביליות נתונים:

1. מציבים רפליקות של מודל קיים בכמה מכונות.
2. שליחת קבוצות משנה שונות של מערך האימונים לכל עותק.
3. מצברים את העדכונים של הפרמטר.

המונח 'עותק' יכול להתייחס גם לעותק אחר של שרת הסקת מסקנות. הגדלת מספר הרפליקות מגדילה את מספר הבקשות שהמערכת יכולה לטפל בהן בו-זמנית, אבל גם מגדילה את עלויות ההצגה.

הטיית דיווח

#responsible

התדירות שבה אנשים כותבים על פעולות, תוצאות או מאפיינים לא משקפת את התדירות שלהם בעולם האמיתי או את המידה שבה מאפיין מסוים מאפיין קבוצה של אנשים. הטיה בדיווח יכולה להשפיע על הרכב הנתונים שמערכות למידת מכונה לומדות מהם.

לדוגמה, בספרים, המילה צחק נפוצה יותר מהמילה נשם. מודל למידת מכונה שמעריך את התדירות היחסית של צחוק ונשימה מתוך קורפוס של ספרים, כנראה יקבע שצחוק נפוץ יותר מנשימה.

מידע נוסף זמין במאמר הוגנות: סוגי הטיה בקורס המקוצר על למידת מכונה.

בווקטור יהיה זהה,

תהליך מיפוי הנתונים לתכונות שימושיות.

דירוג מחדש

#recsystems

השלב האחרון של מערכת המלצות, שבמהלכו יכול להיות שהמערכת תדרג מחדש פריטים שקיבלו ציון לפי אלגוריתם אחר (בדרך כלל לא אלגוריתם של למידת מכונה). בשלב הדירוג מחדש מתבצעת הערכה של רשימת הפריטים שנוצרה בשלב הניקוד, ומתבצעות פעולות כמו:

• הסרת פריטים שהמשתמש כבר רכש.
• שיפור הניקוד של פריטים עדכניים יותר.

מידע נוסף זמין במאמר בנושא דירוג מחדש בקורס בנושא מערכות המלצה.

שיפור התשובות בעזרת אחזור מידע (RAG)

#fundamentals

טכניקה לשיפור האיכות של הפלט של מודל שפה גדול (LLM) על ידי ביסוסו על מקורות ידע שאוחזרו אחרי שהמודל אומן. טכנולוגיית RAG משפרת את הדיוק של תשובות LLM בכך שהיא מספקת ל-LLM המאומן גישה למידע שאוחזר ממסדי ידע או ממסמכים מהימנים.

הנה כמה מהסיבות הנפוצות לשימוש בשיטת RAG:

• שיפור הדיוק העובדתי של התשובות שהמודל יוצר.
• מתן גישה למודל לידע שהוא לא אומן עליו.
• שינוי הידע שבו המודל משתמש.
• הפעלת האפשרות לציטוט מקורות על ידי המודל.

לדוגמה, נניח שאפליקציה ללימוד כימיה משתמשת ב-PaLM API כדי ליצור סיכומים שקשורים לשאילתות של משתמשים. כשחלק הקצה העורפי של האפליקציה מקבל שאילתה, הוא:

1. מחפש (או מאחזר) נתונים שרלוונטיים לשאילתה של המשתמש.
2. מצרף ("מרחיב") את נתוני הכימיה הרלוונטיים לשאילתה של המשתמש.
3. ההנחיה הזו גורמת ל-LLM ליצור סיכום על סמך הנתונים שנוספו.

שורה חדשה

#rl

בלמידת חיזוק, בהינתן מדיניות מסוימת ומצב מסוים, התגמול הוא סכום כל התגמולים שהסוכן מצפה לקבל כשהוא פועל לפי המדיניות מהמצב ועד לסיום הפרק. הסוכן מתחשב בעיכוב הצפוי בקבלת התגמולים על ידי הנחה של התגמולים בהתאם למעברים בין המצבים שנדרשים כדי לקבל את התגמול.

לכן, אם מקדם ההנחה הוא \(\gamma\), ו \(r_0, \ldots, r_{N}\)מציין את התגמולים עד סוף הפרק, חישוב התשואה הוא כדלקמן:

$$\text{Return} = r_0 + \gamma r_1 + \gamma^2 r_2 + \ldots + \gamma^{N-1} r_{N-1}$$

הטבה

#rl

בלמידת חיזוק, התוצאה המספרית של ביצוע פעולה במצב, כפי שמוגדר על ידי הסביבה.

רגולריזציה של רכסים

מילה נרדפת לרגולריזציה מסוג _L2. המונח רגולריזציה של רכס נמצא בשימוש בתדירות גבוהה יותר בהקשרים של סטטיסטיקה טהורה, ואילו המונח רגולריזציה של L₂ נמצא בשימוש בתדירות גבוהה יותר בהקשרים של למידת מכונה.

RNN

#seq

קיצור של רשתות נוירונים חוזרות.

עקומת ROC (מאפיין הפעולה של המקלט)

#fundamentals

#Metric

תרשים של שיעור החיוביים האמיתיים לעומת שיעור החיוביים הכוזבים עבור סף סיווג שונים בסיווג בינארי.

הצורה של עקומת ROC מצביעה על היכולת של מודל סיווג בינארי להפריד בין סיווגים חיוביים לסיווגים שליליים. נניח, לדוגמה, שמודל סיווג בינארי מפריד בצורה מושלמת בין כל המחלקות השליליות לבין כל המחלקות החיוביות:

עקומת ה-ROC של המודל הקודם נראית כך:

לעומת זאת, באיור הבא מוצגים ערכי הרגרסיה הלוגיסטית הגולמיים של מודל גרוע שלא מצליח להפריד בין מחלקות שליליות למחלקות חיוביות:

עקומת ה-ROC של המודל הזה נראית כך:

בינתיים, בעולם האמיתי, רוב מודלי הסיווג הבינארי מפרידים בין מחלקות חיוביות ושליליות במידה מסוימת, אבל בדרך כלל לא בצורה מושלמת. לכן, עקומת ROC אופיינית נמצאת איפשהו בין שני הקצוות:

הנקודה בעקומת ROC שהכי קרובה ל-(0.0,1.0) מזהה באופן תיאורטי את סף הסיווג האידיאלי. עם זאת, יש כמה בעיות בעולם האמיתי שמשפיעות על הבחירה של סף הסיווג האידיאלי. לדוגמה, יכול להיות שתוצאות שליליות כוזבות גורמות להרבה יותר נזק מתוצאות חיוביות כוזבות.

מדד מספרי שנקרא AUC מסכם את עקומת ה-ROC לערך יחיד של נקודה צפה.

הנחיות לשינוי תפקיד

#language

#generativeAI

חלק אופציונלי של הנחיה שמזהה קהל יעד לתשובה של מודל AI גנרטיבי. בלי הנחיה להגדרת תפקיד, מודל שפה גדול מספק תשובה שיכולה להיות שימושית או לא שימושית לאדם ששואל את השאלות. בעזרת הנחיה להגדרת תפקיד, מודל שפה גדול יכול לתת תשובה שמתאימה יותר ומועילה יותר לקהל יעד ספציפי. לדוגמה, החלק של הנחיית התפקיד בהנחיות הבאות מודגש:

• סכם את המסמך הזה לדוקטור בכלכלה.
• תאר איך פועלים הגאות והשפל לילד בן 10.
• תסביר לי על המשבר הפיננסי של 2008. תתנסח כאילו אתה מדבר עם ילד קטן או עם גולדן רטריבר.

הרמה הבסיסית (root)

#df

הצומת ההתחלתי (התנאי הראשון) בעץ החלטה. לפי המוסכמה, שורש העץ מוצג בחלק העליון של תרשימי עץ ההחלטות. לדוגמה:

ספריית השורש

#TensorFlow

הספרייה שאתם מציינים לאירוח ספריות משנה של קובצי TensorFlow checkpoint וקובצי אירועים של כמה מודלים.

שורש טעות ריבועית ממוצעת (RMSE)

#fundamentals

#Metric

השורש הריבועי של הטעות הריבועית הממוצעת.

אינווריאנטיות לסיבוב

#image

בבעיה של סיווג תמונות, היכולת של אלגוריתם לסווג תמונות בהצלחה גם כשמשנים את הכיוון של התמונה. לדוגמה, האלגוריתם יכול לזהות מחבט טניס גם אם הוא מוטה כלפי מעלה, לצדדים או כלפי מטה. חשוב לציין שלא תמיד רצוי להשתמש בשיטת הסיווג הזו. לדוגמה, אם הספרה 9 מוצגת הפוכה, היא לא צריכה להיות מסווגת כ-9.

אפשר לקרוא גם על אינווריאנטיות להזזה ועל אינווריאנטיות לגודל.

ROUGE (Recall-Oriented Understudy for Gisting Evaluation)

#language

#Metric

משפחה של מדדים שמשמשים להערכת מודלים של סיכום אוטומטי ושל תרגום מכונה. מדדי ROUGE קובעים את מידת החפיפה בין טקסט ייחוס לבין טקסט שנוצר על ידי מודל ML. כל אחד מהמדדים במשפחת ROUGE מודד חפיפה בצורה שונה. ציוני ROUGE גבוהים יותר מצביעים על דמיון רב יותר בין טקסט ההפניה לבין הטקסט שנוצר, בהשוואה לציוני ROUGE נמוכים יותר.

בדרך כלל, כל מדד של ROUGE מייצר את המדדים הבאים:

• דיוק
• זכירות
• F₁

הערה: המדדים דיוק והיזכרות ב-ROUGE שונים במידה מסוימת מהמדדים המסורתיים של דיוק והיזכרות.

לפרטים נוספים ולעיון בדוגמאות, ראו:

• ROUGE-L
• ROUGE-N
• ROUGE-S

הערה: BLEU ו-BLEURT עוברות אופטימיזציה לדיוק, ואילו ROUGE עוברת אופטימיזציה להחזרה. לכן, BLEU ו-BLEURT הם מדדים טובים יותר להערכת תרגום מכונה (כי הדגש הוא על דיוק), ואילו ROUGE הוא מדד טוב יותר לסיכום (כי הדגש הוא על היזכרות).

ROUGE-L

#language

#Metric

חבר במשפחת ROUGE שמתמקד באורך של הרצף המשותף הארוך ביותר בטקסט ההפניה ובטקסט שנוצר. הנוסחאות הבאות משמשות לחישוב ההחזרה והדיוק של ROUGE-L:

$$\text{ROUGE-L recall} = \frac{\text{longest common sequence}} {\text{number of words in the reference text} }$$

$$\text{ROUGE-L precision} = \frac{\text{longest common sequence}} {\text{number of words in the generated text} }$$

אחר כך אפשר להשתמש ב-F₁ כדי לסכם את הנתונים של ROUGE-L recall ו-ROUGE-L precision למדד אחד:

$$\text{ROUGE-L F} {_1} = \frac{\text{2} * \text{ROUGE-L recall} * \text{ROUGE-L precision}} {\text{ROUGE-L recall} + \text{ROUGE-L precision} }$$

לוחצים על הסמל כדי לראות דוגמה לחישוב של ROUGE-L.

כדאי לעיין בטקסט המקורי ובטקסט שנוצר.

קטגוריה	מי הפיק?	טקסט
טקסט העיון	מתרגם אנושי	אני רוצה להבין מגוון רחב של דברים.
הטקסט שנוצר	מודל ML	אני רוצה ללמוד הרבה דברים.

לכן:

• הרצף המשותף הארוך ביותר הוא 5 (I want to of things)
• מספר המילים בטקסט ההפניה הוא 9.
• מספר המילים בטקסט שנוצר הוא 7.

כתוצאה מכך:

$$\text{ROUGE-L recall} = \frac{\text{5}} {\text{9} } = 0.56$$

$$\text{ROUGE-L precision} = \frac{\text{5}} {\text{7} } = 0.71$$

$$\text{ROUGE-L F} {_1} = \frac{\text{2} * \text{0.56} * \text{0.71}} {\text{0.56} + \text{0.71} } = 0.63$$

---

המדד ROUGE-L מתעלם ממעברי שורה בטקסט הייחוס ובטקסט שנוצר, ולכן הרצף המשותף הארוך ביותר יכול לחצות כמה משפטים. אם טקסט ההפניה והטקסט שנוצר כוללים כמה משפטים, מדד טוב יותר הוא בדרך כלל וריאציה של ROUGE-L שנקראת ROUGE-Lsum. המדד ROUGE-Lsum קובע את הרצף המשותף הארוך ביותר לכל משפט בקטע, ואז מחשב את הממוצע של הרצפים המשותפים הארוכים ביותר האלה.

לוחצים על הסמל כדי לראות דוגמה לחישוב של ROUGE-Lsum.

כדאי לעיין בטקסט המקורי ובטקסט שנוצר.

קטגוריה	מי הפיק?	טקסט
טקסט העיון	מתרגם אנושי	פני השטח של מאדים יבשים. כמעט כל המים נמצאים עמוק מתחת לאדמה.
הטקסט שנוצר	מודל ML	המשטח של מאדים יבש. עם זאת, רוב המים נמצאים מתחת לפני האדמה.

לכן:

	המשפט הראשון	המשפט השני
הרצף המשותף הארוך ביותר	‫2 (Mars dry)	‫3 (מים מתחת לפני הקרקע)
אורך המשפט של טקסט העזר	6	7
אורך המשפט בטקסט שנוצר	5	8

לכן:

$$\text{recall of first sentence} = \frac{\text{2}} {\text{6}} = 0.33 $$

$$\text{recall of second sentence} = \frac{\text{3}} {\text{7}} = 0.43 $$

$$\text{ROUGE-Lsum recall} = \frac{\text{0.33} + \text{0.43}} {\text{2}} = 0.38 $$

$$\text{precision of first sentence} = \frac{\text{2}} {\text{5}} = 0.4 $$

$$\text{precision of second sentence} = \frac{\text{3}} {\text{8}} = 0.38 $$

$$\text{ROUGE-Lsum precision} = \frac{\text{0.4} + \text{0.38}} {\text{2}} = 0.39 $$

$$\text{ROUGE-Lsum F}{_1} = \frac{\text{2} * \text{0.38} * \text{0.39}} {\text{0.38} + \text{0.39}} = 0.38 $$

---

ROUGE-N

#language

#Metric

קבוצה של מדדים במשפחת ROUGE שמשווה בין ה-N-grams המשותפים בגודל מסוים בטקסט ההשוואה לבין הטקסט שנוצר. לדוגמה:

• המדד ROUGE-1 מודד את מספר הטוקנים המשותפים בטקסט ההפניה ובטקסט שנוצר.
• ‫ROUGE-2 מודד את מספר הביגרמות (2-גרמות) המשותפות בטקסט ההפניה ובטקסט שנוצר.
• המדד ROUGE-3 מודד את מספר הטריגרמים (3-גרמים) המשותפים בטקסט ההפניה ובטקסט שנוצר.

אפשר להשתמש בנוסחאות הבאות כדי לחשב את ערכי הזיכרון (recall) והדיוק (precision) של ROUGE-N לכל חבר במשפחת ROUGE-N:

$$\text{ROUGE-N recall} = \frac{\text{number of matching N-grams}} {\text{number of N-grams in the reference text} }$$

$$\text{ROUGE-N precision} = \frac{\text{number of matching N-grams}} {\text{number of N-grams in the generated text} }$$

אחר כך אפשר להשתמש ב-F₁ כדי לסכם את מדדי ההחזרה (recall) והדיוק של ROUGE-N למדד אחד:

$$\text{ROUGE-N F}{_1} = \frac{\text{2} * \text{ROUGE-N recall} * \text{ROUGE-N precision}} {\text{ROUGE-N recall} + \text{ROUGE-N precision} }$$

לוחצים על הסמל כדי לראות דוגמה.

נניח שאתם מחליטים להשתמש ב-ROUGE-2 כדי למדוד את היעילות של תרגום שבוצע על ידי מודל ML בהשוואה לתרגום שבוצע על ידי מתרגם אנושי.

קטגוריה	מי הפיק?	טקסט	ביגרמות
טקסט העיון	מתרגם אנושי	אני רוצה להבין מגוון רחב של דברים.	אני רוצה, רוצה, להבין, להבין מגוון, מגוון רחב, רחב של, של דברים
הטקסט שנוצר	מודל ML	אני רוצה ללמוד הרבה דברים.	אני רוצה, רוצה ללמוד, ללמוד הרבה, הרבה דברים

לכן:

• מספר ה-2-גרמים התואמים הוא 3 (I want,‏ want to ו-of things).
• מספר ה-2-גרמים בטקסט ההפניה הוא 8.
• מספר ה-2-גרמים בטקסט שנוצר הוא 6.

כתוצאה מכך:

$$\text{ROUGE-2 recall} = \frac{\text{3}} {\text{8} } = 0.375$$

$$\text{ROUGE-2 precision} = \frac{\text{3}} {\text{6} } = 0.5$$

$$\text{ROUGE-2 F}{_1} = \frac{\text{2} * \text{0.375} * \text{0.5}} {\text{0.375} + \text{0.5} } = 0.43$$

---

ROUGE-S

#language

#Metric

גרסה סלחנית של ROUGE-N שמאפשרת התאמה של skip-gram. כלומר, ROUGE-N סופר רק N-grams שתואמים בדיוק, אבל ROUGE-S סופר גם N-grams שמופרדים על ידי מילה אחת או יותר. לדוגמה, שקול את הדברים הבאים:

• טקסט להפניה: White clouds
• טקסט שנוצר: White billowing clouds

כשמחשבים את ROUGE-N, ה-2-gram, ‏ White clouds לא תואם ל-White billowing clouds. עם זאת, כשמחשבים את ROUGE-S, ‏ White clouds תואם ל-White billowing clouds.

R בריבוע

#Metric

מדד רגרסיה שמציין כמה מהשונות בתווית נובעת מתכונה ספציפית או מקבוצת תכונות. מקדם המתאם R² הוא ערך בין 0 ל-1, שאפשר לפרש אותו באופן הבא:

• ערך של 0 ב-R-squared מציין שאף אחד מהשינויים בתווית לא נובע ממערכת התכונות.
• ערך של 1 ב-R בריבוע מציין שכל השונות של תווית מסוימת נובעת מקבוצת התכונות.
• ערך R בריבוע בין 0 ל-1 מציין את המידה שבה אפשר לחזות את השונות של התווית ממאפיין מסוים או מקבוצת מאפיינים. לדוגמה, אם ערך ה-R בריבוע הוא 0.10, המשמעות היא ש-10 אחוז מהשונות בתווית נובעים מקבוצת התכונות. אם ערך ה-R בריבוע הוא 0.20, המשמעות היא ש-20 אחוז מהשונות נובעים מקבוצת התכונות, וכן הלאה.

מקדם המתאם של פירסון בריבוע הוא מקדם המתאם של פירסון בריבוע בין הערכים שהמודל חזה לבין הערכים האמיתיים.

S

הטיית דגימה

#responsible

ראו הטיית בחירה.

דגימה עם החזרה

#df

שיטה לבחירת פריטים מתוך קבוצת פריטים אפשריים, שבה אפשר לבחור את אותו פריט כמה פעמים. הביטוי 'עם החזרה' מציין שאחרי כל בחירה, הפריט שנבחר מוחזר למאגר הפריטים שאפשר לבחור מהם. בשיטה ההפוכה, דגימה ללא החזרה, אפשר לבחור פריט מועמד רק פעם אחת.

לדוגמה, נניח שיש לכם את קבוצת הפירות הבאה:

fruit = {kiwi, apple, pear, fig, cherry, lime, mango}

נניח שהמערכת בוחרת באופן אקראי את fig כפריט הראשון. אם משתמשים בדגימה עם החזרה, המערכת בוחרת את הפריט השני מתוך הקבוצה הבאה:

fruit = {kiwi, apple, pear, fig, cherry, lime, mango}

כן, זה אותו סט כמו קודם, כך שהמערכת יכולה לבחור שוב את fig.

אם משתמשים בדגימה ללא החזרה, אחרי שבוחרים דגימה אי אפשר לבחור אותה שוב. לדוגמה, אם המערכת בוחרת באופן אקראי את fig כמדגם הראשון, היא לא יכולה לבחור בו שוב.fig לכן, המערכת בוחרת את הדגימה השנייה מתוך קבוצת הדגימות הבאה (המצומצמת):

fruit = {kiwi, apple, pear, cherry, lime, mango}

כדי לראות הערות נוספות, לוחצים על הסמל.

המילה החלפה במונח דגימה עם החלפה מבלבלת הרבה אנשים. באנגלית, replacement פירושו "החלפה". עם זאת, דגימה עם החזרה משתמשת למעשה בהגדרה הצרפתית של החזרה, שמשמעותה היא "החזרת משהו".

המילה האנגלית replacement מתורגמת למילה הצרפתית remplacement.

---

SavedModel

#TensorFlow

הפורמט המומלץ לשמירה ולשחזור של מודלים של TensorFlow. ‫SavedModel הוא פורמט סריאליזציה שאינו תלוי בשפה וניתן לשחזור, שמאפשר למערכות ולכלים ברמה גבוהה יותר ליצור, לצרוך ולשנות מודלים של TensorFlow.

פרטים מלאים מופיעים בקטע שמירה ושחזור במדריך לתכנתים של TensorFlow.

חסכוני

#TensorFlow

אובייקט TensorFlow שאחראי לשמירת נקודות ביקורת (checkpoint) של המודל.

סקלרי

מספר בודד או מחרוזת בודדת שאפשר לייצג כטנזור מדרגה 0. לדוגמה, כל אחת משורות הקוד הבאות יוצרת סקלר אחד ב-TensorFlow:

breed = tf.Variable("poodle", tf.string)
temperature = tf.Variable(27, tf.int16)
precision = tf.Variable(0.982375101275, tf.float64)

התאמה לעומס (scaling)

כל טרנספורמציה או טכניקה מתמטית שמשנה את הטווח של תווית, של ערך מאפיין או של שניהם. חלק מהשיטות לשינוי קנה מידה שימושיות מאוד לנורמליזציה.

כמה דוגמאות לשיטות נפוצות של שינוי קנה מידה ששימושיות בלמידת מכונה:

• קנה מידה לינארי, שבדרך כלל משתמש בשילוב של חיסור וחילוק כדי להחליף את הערך המקורי במספר בין ‎-1 ל-‎+1 או בין 0 ל-1.
• קנה מידה לוגריתמי, שמחליף את הערך המקורי בלוגריתם שלו.
• נורמליזציה של ציון Z, שמחליפה את הערך המקורי בערך נקודה צפה שמייצג את מספר סטיות התקן מהממוצע של התכונה.

scikit-learn

פלטפורמה פופולרית ללמידת מכונה בקוד פתוח. מידע נוסף זמין באתר scikit-learn.org.

דירוג

#recsystems

#Metric

החלק במערכת ההמלצות שמספק ערך או דירוג לכל פריט שנוצר בשלב יצירת המועמדים.

הטיית בחירה

#responsible

שגיאות במסקנות שמוסקים מנתונים מדוגמים בגלל תהליך בחירה שיוצר הבדלים שיטתיים בין המדגמים שנצפו בנתונים לבין אלה שלא נצפו. אלה סוגי הטיית הבחירה שקיימים:

• הטיה בכיסוי: האוכלוסייה שמיוצגת במערך הנתונים לא תואמת לאוכלוסייה שלגביה מודל למידת המכונה מפיק תחזיות.
• הטיה בבחירת המדגם: הנתונים לא נאספים באופן אקראי מקבוצת היעד.
• הטיית אי-תגובה (נקראת גם הטיית השתתפות): משתמשים מקבוצות מסוימות בוחרים שלא להשתתף בסקרים בשיעורים שונים ממשתמשים מקבוצות אחרות.

לדוגמה, נניח שאתם יוצרים מודל למידת מכונה שמנבא את מידת ההנאה של אנשים מסרט. כדי לאסוף נתונים לאימון, אתם מחלקים שאלון לכל מי שיושב בשורה הראשונה באולם קולנוע שבו מוקרן הסרט. מבט ראשון, יכול להיות שזו דרך סבירה לאסוף מערך נתונים, אבל איסוף נתונים מהסוג הזה עלול להוביל להטיות הבאות בבחירה:

• הטיה בכיסוי: אם המודל מתבסס על מדגם של אנשים שבחרו לצפות בסרט, יכול להיות שהתחזיות שלו לא יהיו רלוונטיות לאנשים שלא הביעו עניין ברמה הזו בסרט.
• הטיה בדגימה: במקום לדגום באופן אקראי מתוך האוכלוסייה המיועדת (כל האנשים בסרט), דגמתם רק את האנשים בשורה הראשונה. יכול להיות שהאנשים שישבו בשורה הראשונה התעניינו בסרט יותר מאלה שישבו בשורות אחרות.
• הטיה בגלל אי-היענות: באופן כללי, אנשים עם דעות מוצקות נוטים להשיב לסקרים אופציונליים בתדירות גבוהה יותר מאנשים עם דעות מתונות. מכיוון שהשתתפות בסקר על הסרט היא אופציונלית, סביר יותר שהתשובות יצרו התפלגות דו-אופנית ולא התפלגות נורמלית (בצורת פעמון).

קשב עצמי (נקרא גם שכבת קשב עצמי)

#language

שכבה של רשת נוירונים שמבצעת טרנספורמציה של רצף הטמעות (לדוגמה, הטמעות של טוקנים) לרצף אחר של הטמעות. כל הטמעה ברצף הפלט נוצרת על ידי שילוב מידע מהאלמנטים של רצף הקלט באמצעות מנגנון הפניית קשב.

החלק self במונח self-attention מתייחס לרצף שמתייחס לעצמו ולא להקשר אחר. מנגנון הקשב העצמי הוא אחד מאבני הבניין העיקריות של טרנספורמרים, והוא משתמש בטרמינולוגיה של חיפוש במילון, כמו 'שאילתה', 'מפתח' ו'ערך'.

שכבת קשב עצמי מתחילה ברצף של ייצוגי קלט, אחד לכל מילה. ייצוג הקלט של מילה יכול להיות הטמעה פשוטה. לכל מילה ברצף הקלט, הרשת מחשבת את מידת הרלוונטיות של המילה לכל רכיב ברצף המילים כולו. הציונים לרלוונטיות קובעים עד כמה הייצוג הסופי של המילה משלב את הייצוגים של מילים אחרות.

לדוגמה, נניח את המשפט הבא:

החיה לא חצתה את הרחוב כי היא הייתה עייפה מדי.

באיור הבא (מתוך Transformer: A Novel Neural Network Architecture for Language Understanding) מוצג דפוס הקשב של שכבת קשב עצמי עבור כינוי הגוף it. עובי הקו מציין את מידת התרומה של כל מילה לייצוג:

שכבת הקשב העצמי מדגישה מילים שרלוונטיות למילה it. במקרה הזה, שכבת תשומת הלב למדה להדגיש מילים שהיא עשויה להתייחס אליהן, והיא מקצה את המשקל הגבוה ביותר למילה animal (חיה).

ברצף של n טוקנים, קשב עצמי מבצע טרנספורמציה של רצף של הטמעות n פעמים נפרדות, פעם אחת בכל מיקום ברצף.

אפשר לעיין גם בתשומת לב ובתשומת לב עצמית עם מספר ראשים.

למידה בפיקוח עצמי

קבוצה של טכניקות להמרת בעיה של למידת מכונה לא מבוקרת לבעיה של למידת מכונה מבוקרת על ידי יצירת תוויות חלופיות מדוגמאות לא מתויגות.

חלק מהמודלים שמבוססים על טרנספורמרים, כמו BERT, משתמשים בלמידה בפיקוח עצמי.

אימון בפיקוח עצמי הוא גישה של למידה מונחית למחצה.

אימון עצמי

וריאציה של למידה בפיקוח עצמי, שימושית במיוחד כשכל התנאים הבאים מתקיימים:

• היחס בין דוגמאות לא מסומנות לבין דוגמאות מסומנות במערך הנתונים גבוה.
• זו בעיה של סיווג.

באימון עצמי, המערכת חוזרת על שני השלבים הבאים עד שהמודל מפסיק להשתפר:

1. משתמשים בלמידת מכונה מבוקרת כדי לאמן מודל על הדוגמאות המתויגות.
2. משתמשים במודל שנוצר בשלב 1 כדי ליצור תחזיות (תוויות) בדוגמאות שלא סומנו, ומעבירים את הדוגמאות שבהן רמת הביטחון גבוהה לדוגמאות המסומנות עם התווית החזויה.

שימו לב שבכל איטרציה של שלב 2 מתווספות דוגמאות מתויגות נוספות לשלב 1, לצורך אימון.

למידה מונחית למחצה

אימון מודל על נתונים שחלק מדוגמאות האימון שלהם מתויגות וחלק לא. טכניקה אחת ללמידה מונחית למחצה היא להסיק תוויות לדוגמאות לא מסומנות, ולאחר מכן להתאמן על התוויות שהוסקו כדי ליצור מודל חדש. למידה חצי-מפוקחת יכולה להיות שימושית אם קשה להשיג תוויות, אבל יש הרבה דוגמאות לא מסומנות.

אימון עצמי הוא אחת מהטכניקות ללמידה מונחית למחצה.

מאפיין רגיש

#responsible

מאפיין אנושי שעשוי לקבל התייחסות מיוחדת מסיבות משפטיות, אתיות, חברתיות או אישיות.

ניתוח סנטימנט

#language

שימוש באלגוריתמים סטטיסטיים או של למידת מכונה כדי לקבוע את הגישה הכללית של קבוצה – חיובית או שלילית – כלפי שירות, מוצר, ארגון או נושא. לדוגמה, באמצעות הבנת שפה טבעית, אלגוריתם יכול לבצע ניתוח סנטימנטים על המשוב הטקסטואלי מקורס באוניברסיטה כדי לקבוע עד כמה התלמידים אהבו או לא אהבו את הקורס באופן כללי.

מידע נוסף זמין במדריך בנושא סיווג טקסט.

מודל רצף

#seq

מודל שהקלט שלו תלוי ברצף. לדוגמה, חיזוי הסרטון הבא שייצפה מתוך רצף של סרטונים שנצפו בעבר.

משימה של רצף לרצף

#language

משימה שממירה רצף קלט של טוקנים לרצף פלט של טוקנים. לדוגמה, שני סוגים פופולריים של משימות מסוג sequence-to-sequence הם:

• מתרגמים:
  • רצף קלט לדוגמה: "I love you".
  • רצף פלט לדוגמה: "Je t'aime".
• מענה לשאלות:
  • רצף קלט לדוגמה: "Do I need my car in New York City?"
  • רצף פלט לדוגמה: "לא. עדיף להשאיר את הרכב בבית".

מנה

התהליך של הפיכת מודל מאומן לזמין כדי לספק תחזיות באמצעות הסקת מסקנות אונליין או הסקת מסקנות אופליין.

צורה (Tensor)

מספר הרכיבים בכל ממד של טנזור. הצורה מיוצגת כרשימה של מספרים שלמים. לדוגמה, לטנזור הדו-ממדי הבא יש צורה של [3,4]:

[[5, 7, 6, 4],
 [2, 9, 4, 8],
 [3, 6, 5, 1]]

‫TensorFlow משתמש בפורמט row-major (בסגנון C) כדי לייצג את סדר המימדים, ולכן הצורה ב-TensorFlow היא [3,4] ולא [4,3]. במילים אחרות, בטנזור דו-ממדי של TensorFlow, הצורה היא [מספר השורות, מספר העמודות].

צורה סטטית היא צורה של טנסור שידועה בזמן הקומפילציה.

צורה דינמית היא לא ידועה בזמן ההידור ולכן היא תלויה בנתוני זמן הריצה. טנסור כזה יכול להיות מיוצג באמצעות ממד placeholder ב-TensorFlow, כמו בדוגמה [3, ?].

פצל

#TensorFlow

#GoogleCloud

חלוקה לוגית של נתוני האימון או של המודל. בדרך כלל, תהליך מסוים יוצר רסיסים על ידי חלוקה של הדוגמאות או הפרמטרים לחלקים בגודל שווה (בדרך כלל). כל רסיס מוקצה למכונה אחרת.

החלוקה של מודל נקראת מקבילות של מודל, והחלוקה של נתונים נקראת מקבילות של נתונים.

כיווץ

#df

היפר-פרמטר בשיטת הגרדיאנט ששולט בהתאמת יתר. ההתכווצות בחיזוק גרדיאנט דומה לקצב הלמידה בירידת גרדיאנט. הערך של ההתכווצות הוא מספר עשרוני בין 0.0 ל-1.0. ערך נמוך יותר של כיווץ מפחית את התאמת היתר יותר מערך גבוה יותר של כיווץ.

הערכה מקבילה

השוואה בין האיכות של שני מודלים על סמך התשובות שלהם לאותה הנחיה. לדוגמה, נניח שנותנים את ההנחיה הבאה ל-2 מודלים שונים:

צור תמונה של כלב חמוד שמלהטט עם שלושה כדורים.

בבדיקה של תמונות זו לצד זו, בודק יבחר את התמונה ה'טובה יותר' (יותר מדויקת? יותר יפה? יותר חמודים?).

פונקציית סיגמואיד

#fundamentals

פונקציה מתמטית ש'דוחסת' ערך קלט לטווח מוגבל, בדרך כלל 0 עד 1 או ‎-1 עד ‎+1. כלומר, אפשר להעביר כל מספר (שניים, מיליון, מיליארד שלילי, מה שרוצים) לפונקציית סיגמואיד, והפלט עדיין יהיה בטווח המוגבל. גרף של פונקציית ההפעלה הסיגמואידית נראה כך:

לפונקציית הסיגמואיד יש כמה שימושים בלמידת מכונה, כולל:

• המרת הפלט הגולמי של מודל רגרסיה לוגיסטית או רגרסיה מולטינומיאלית להסתברות.
• פועלת כפונקציית הפעלה בחלק מהרשתות העצביות.

כדי לראות את המתמטיקה, לוחצים על הסמל.

הנוסחה של פונקציית הסיגמואיד של מספר קלט x היא:

$$ sigmoid(x) = \frac{1}{1 + e^{-\text{x}}} $$

בלמידת מכונה, x הוא בדרך כלל סכום משוקלל.

---

מדד הדמיון

#clustering

#Metric

באלגוריתמים של אשכולות, המדד שמשמש לקביעת מידת הדמיון בין שתי דוגמאות.

תוכנית יחידה / נתונים מרובים (SPMD)

טכניקה של מקביליות שבה אותו חישוב מורץ על נתוני קלט שונים במקביל במכשירים שונים. המטרה של SPMD היא להשיג תוצאות מהר יותר. זהו הסגנון הנפוץ ביותר של תכנות מקבילי.

אי-תלות בגודל

#image

בבעיה של סיווג תמונות, היכולת של אלגוריתם לסווג תמונות בהצלחה גם כשגודל התמונה משתנה. לדוגמה, האלגוריתם עדיין יכול לזהות חתול גם אם הוא צורך 2 מיליון פיקסלים וגם אם הוא צורך 200,000 פיקסלים. חשוב לציין שגם לאלגוריתמים הטובים ביותר לסיווג תמונות יש מגבלות מעשיות לגבי אי-תלות בגודל. לדוגמה, סביר להניח שאלגוריתם (או אדם) לא יסווג נכון תמונה של חתול אם הוא יקבל רק 20 פיקסלים.

אפשר לקרוא גם על אינווריאנטיות להזזה ועל אינווריאנטיות לסיבוב.

מידע נוסף זמין בקורס בנושא אשכולות.

רישום

#clustering

בלמידת מכונה לא מפוקחת, קטגוריה של אלגוריתמים שמבצעים ניתוח דמיון מקדים על דוגמאות. אלגוריתמים של סקיצות משתמשים ב פונקציית גיבוב (hash) שרגישה למיקום כדי לזהות נקודות שסביר להניח שהן דומות, ואז מקבצים אותן לדליים.

השימוש בשיטת הסקצ'ינג מצמצם את החישובים שנדרשים לחישובים של דמיון במערכי נתונים גדולים. במקום לחשב את הדמיון לכל זוג דוגמאות במערך הנתונים, אנחנו מחשבים את הדמיון רק לכל זוג נקודות בכל קטגוריה.

skip-gram

#language

n-gram שבו יכול להיות שיושמטו מילים מההקשר המקורי (או ש "ידלגו" עליהן), כלומר יכול להיות שהמילים לא היו סמוכות במקור. באופן מדויק יותר, k-skip-n-gram הוא n-gram שבו יכולות להיות עד k מילים שהושמטו.

לדוגמה, המשפט "the quick brown fox" מכיל את ה-2-גרמים האפשריים הבאים:

• ‫"the quick"
• "quick brown"
• "brown fox"

‫'1-skip-2-gram' הוא צמד מילים שיש ביניהן מילה אחת לכל היותר. לכן, הביטוי "the quick brown fox" כולל את ה-2-grams הבאים עם דילוג של 1:

• "the brown"
• "quick fox"

בנוסף, כל ה-2-grams הם גם 1-skip-2-grams, כי אפשר לדלג על פחות ממילה אחת.

דיאגרמות skip-gram שימושיות להבנת ההקשר הרחב יותר של מילה. בדוגמה, המילה fox קושרה ישירות למילה quick בקבוצה של 1-skip-2-grams, אבל לא בקבוצה של 2-grams.

דיאגרמות skip-gram עוזרות לאמן מודלים של word embedding.

softmax

#fundamentals

פונקציה שקובעת הסתברויות לכל מחלקה אפשרית במודל סיווג רב-מחלקה. סכום ההסתברויות הוא בדיוק 1.0. לדוגמה, הטבלה הבאה מראה איך פונקציית softmax מחלקת הסתברויות שונות:

התמונה היא…	Probability
כלב	‫0.85
cat	‫.13
סוס	‫.02

‫Softmax נקרא גם full softmax.

ההבדל בין זה לבין דגימת מועמדים.

כדי לראות את המתמטיקה, לוחצים על הסמל.

המשוואה של softmax היא:

$$\sigma_i = \frac{e^{\text{z}_i}} {\sum_{j=1}^{j=K} {e^{\text{z}_j}}} $$

כאשר:

• ‫$\sigma_i$ הוא וקטור הפלט. כל רכיב של וקטור הפלט מציין את ההסתברות של הרכיב הזה. סכום כל הרכיבים בווקטור הפלט הוא 1.0. וקטור הפלט מכיל את אותו מספר רכיבים כמו וקטור הקלט, ‎$z$‎.
• ‫$z$ הוא וקטור הקלט. כל רכיב של וקטור הקלט מכיל ערך של נקודה צפה.
• ‫$K$ הוא מספר הרכיבים בווקטור הקלט (ובווקטור הפלט).

לדוגמה, נניח שווקטור הקלט הוא:

[1.2, 2.5, 1.8]

לכן, פונקציית softmax מחשבת את המכנה באופן הבא:

$$\text{denominator} = e^{1.2} + e^{2.5} + e^{1.8} = 21.552$$

לכן, ההסתברות של כל אלמנט ב-softmax היא:

$$\sigma_1 = \frac{e^{1.2}}{21.552} = 0.154 $$ $$\sigma_2 = \frac{e^{2.5}}{21.552} = 0.565 $$ $$\sigma_1 = \frac{e^{1.8}}{21.552} = 0.281 $$

לכן, וקטור הפלט הוא:

$$\sigma = [0.154, 0.565, 0.281]$$

סכום שלושת הרכיבים ב-$\sigma$ הוא 1.0. סוף סוף!

---

מידע נוסף זמין במאמר רשתות עצביות: סיווג רב-מחלקתי בקורס המקוצר בנושא למידת מכונה.

כוונון קל של הנחיות

#language

#generativeAI

טכניקה לכוונון מודל שפה גדול למשימה מסוימת, בלי כוונון עדין שדורש הרבה משאבים. במקום לאמן מחדש את כל המשקלים במודל, שינוי עדין של הנחיה משנה באופן אוטומטי הנחיה כדי להשיג את אותה מטרה.

בהינתן הנחיה טקסטואלית, בדרך כלל מוסיפים להנחיה הטמעות של טוקנים נוספים ומבצעים אופטימיזציה של הקלט באמצעות הפצה חוזרת של שגיאות (backpropagation).

הנחיה 'קשה' מכילה טוקנים בפועל במקום הטבעות של טוקנים.

תכונה דלילה

#language

#fundamentals

תכונה שהערכים שלה הם בעיקר אפס או ריקים. לדוגמה, תכונה שמכילה ערך 1 יחיד ומיליון ערכים של 0 היא דלילה. לעומת זאת, לתכונה צפופה יש ערכים שהם בעיקר לא אפס או לא ריקים.

בלמידת מכונה, מספר מפתיע של תכונות הן תכונות דלילות. תכונות קטגוריות הן בדרך כלל תכונות דלילות. לדוגמה, מתוך 300 מיני עצים אפשריים ביער, דוגמה אחת יכולה לזהות רק עץ אדר. או מתוך מיליוני הסרטונים האפשריים בספריית סרטונים, דוגמה אחת עשויה לזהות רק את הסרט 'קזבלנקה'.

במודל, בדרך כלל מייצגים מאפיינים דלילים באמצעות קידוד "חם-יחיד" (one-hot). אם הקידוד מסוג "חם-יחיד" גדול, אפשר להוסיף שכבת הטמעה מעל הקידוד מסוג "חם-יחיד" כדי לשפר את היעילות.

ייצוג דליל

#language

#fundamentals

אחסון רק של המיקומים של רכיבים שאינם אפס בתכונה דלילה.

לדוגמה, נניח שיש תכונה קטגורית בשם species שמזהה את 36 מיני העצים ביער מסוים. בנוסף, נניח שכל דוגמה מזהה רק מין אחד.

אפשר להשתמש בווקטור one-hot כדי לייצג את מיני העצים בכל דוגמה. וקטור one-hot יכיל ערך 1 אחד (לייצוג של מין העץ הספציפי בדוגמה) ו-35 ערכים של 0 (לייצוג של 35 מיני העצים שלא נכללים בדוגמה). לכן, ייצוג one-hot של maple יכול להיראות כך:

לחלופין, ייצוג דליל יזהה פשוט את המיקום של המינים הספציפיים. אם maple נמצא במיקום 24, הייצוג הדליל של maple יהיה פשוט:

24

שימו לב שהייצוג הדליל הרבה יותר קומפקטי מהייצוג one-hot.

הערה: לא מומלץ להעביר ייצוג דליל כקלט תכונה ישיר למודל. במקום זאת, צריך להמיר את הייצוג הדליל לייצוג one-hot לפני שמבצעים אימון על בסיסו.

כדי לראות דוגמה קצת יותר מורכבת, לוחצים על הסמל.

נניח שכל דוגמה במודל צריכה לייצג את המילים – אבל לא את הסדר שלהן – במשפט באנגלית. האנגלית כוללת כ-170,000 מילים, ולכן היא מאפיין קטגורי עם כ-170,000 רכיבים. רוב המשפטים באנגלית משתמשים בחלק קטן מאוד מ-170,000 המילים האלה, ולכן קבוצת המילים בדוגמה בודדת כמעט תמיד תהיה נתונים דלילים.

נניח שיש לכם את המשפט הבא:

My dog is a great dog

אפשר להשתמש בווקטור one-hot כדי לייצג את המילים במשפט הזה. בגרסה הזו, כמה תאים בווקטור יכולים להכיל ערך שונה מאפס. בנוסף, בגרסה הזו, תא יכול להכיל מספר שלם שאינו אחד. המילים my, is, a ו-great מופיעות רק פעם אחת במשפט, אבל המילה dog מופיעה פעמיים. שימוש בווריאציה הזו של וקטורים עם קידוד one-hot כדי לייצג את המילים במשפט הזה יוצר את הווקטור הבא עם 170,000 רכיבים:

ייצוג דליל של אותו משפט יהיה פשוט:

0: 1
26100: 2
45770: 1
58906: 1
91520: 1

---

אם אתם לא מבינים משהו, לוחצים על הסמל.

המונח 'ייצוג דליל' מבלבל הרבה אנשים כי ייצוג דליל הוא לא וקטור דליל. במקום זאת, ייצוג דליל הוא למעשה ייצוג צפוף של וקטור דליל. המילה הנרדפת index representation קצת יותר ברורה מהמילה "sparse representation".

---

מידע נוסף זמין במאמר עבודה עם נתונים שמחולקים לקטגוריות בסדנה ללימוד מכונת למידה.

וקטור דליל

#fundamentals

וקטור שהערכים שלו הם בעיקר אפסים. כדאי לעיין גם בתכונת הדלילות ובדלילות.

sparsity

#Metric

מספר הרכיבים שמוגדרים לאפס (או לערך null) בווקטור או במטריצה, חלקי המספר הכולל של הערכים בווקטור או במטריצה. לדוגמה, נניח שיש מטריצה עם 100 רכיבים, שבה 98 תאים מכילים אפס. החישוב של הדלילות מתבצע כך:

$$ {\text{sparsity}} = \frac{\text{98}} {\text{100}} = {\text{0.98}} $$

דלילות של מאפיינים מתייחסת לדלילות של וקטור מאפיינים, ודלילות של מודל מתייחסת לדלילות של משקלי המודל.

איגום מרחבי

#image

מידע נוסף זמין במאמר בנושא איגום.

פיצול

#df

בעץ החלטות, שם נוסף לתנאי.

מפצל

#df

במהלך אימון עץ החלטה, השגרה (והאלגוריתם) שאחראית למציאת התנאי הטוב ביותר בכל צומת.

SPMD

קיצור של single program / multiple data (תוכנית אחת / נתונים מרובים).

squared hinge loss

#Metric

הריבוע של hinge loss. הפסד ציר בריבוע מעניש חריגים בצורה חמורה יותר מאשר הפסד ציר רגיל.

squared loss

#fundamentals

#Metric

מילה נרדפת לירידה ברמה _L2.

אימון מדורג

#language

טקטיקה לאימון מודל ברצף של שלבים נפרדים. המטרה יכולה להיות האצת תהליך האימון או שיפור איכות המודל.

בהמשך מוצג איור של גישת ההערמה ההדרגתית:

• שלב 1 מכיל 3 שכבות מוסתרות, שלב 2 מכיל 6 שכבות מוסתרות ושלב 3 מכיל 12 שכבות מוסתרות.
• בשלב 2 מתחילים באימון עם המשקלים שנלמדו ב-3 השכבות המוסתרות של שלב 1. בשלב 3 מתחילים באימון עם המשקלים שנלמדו ב-6 השכבות המוסתרות של שלב 2.

מידע נוסף זמין במאמר בנושא צינורות (pipelining).

הסמוי הסופי

#rl

בלמידת חיזוק, ערכי הפרמטרים שמתארים את התצורה הנוכחית של הסביבה, שהסוכן משתמש בה כדי לבחור פעולה.

פונקציית ערך של מצב-פעולה

#rl

מילה נרדפת ל-Q-function.

סטטי

#fundamentals

משהו שעושים פעם אחת ולא באופן רציף. המונחים סטטי ואופליין הם מילים נרדפות. אלה שימושים נפוצים במונחים סטטי ואופליין בלמידת מכונה:

• מודל סטטי (או מודל אופליין) הוא מודל שעובר אימון פעם אחת ואז משתמשים בו למשך תקופה.
• אימון סטטי (או אימון אופליין) הוא תהליך האימון של מודל סטטי.
• היקש סטטי (או היקש אופליין) הוא תהליך שבו מודל יוצר קבוצה של תחזיות בכל פעם.

ניגודיות לדינמי.

היקש סטטי

#fundamentals

מילה נרדפת להסקת מסקנות במצב אופליין.

סטציונריות

#fundamentals

מאפיין שהערכים שלו לא משתנים לאורך מאפיין אחד או יותר, בדרך כלל זמן. לדוגמה, תכונה שהערכים שלה דומים ב-2021 וב-2023 מציגה סטציונריות.

בעולם האמיתי, מעט מאוד תכונות מציגות סטציונריות. גם תכונות שמזוהות עם יציבות (כמו גובה פני הים) משתנות עם הזמן.

ההפך מאי-סטציונריות.

שלב

העברה קדימה והעברה אחורה של batch אחד.

מידע נוסף על העברה קדימה והעברה אחורה זמין במאמר בנושא backpropagation.

גודל השלב

מילה נרדפת לקצב למידה.

ירידה סטוכסטית בגרדיאנט (SGD)

#fundamentals

אלגוריתם gradient descent שבו גודל האצווה הוא אחד. במילים אחרות, SGD מתאמן על דוגמה אחת שנבחרה באופן אחיד ואקראי מתוך קבוצת אימון.

מידע נוסף זמין במאמר רגרסיה ליניארית: היפר-פרמטרים בקורס המקוצר על למידת מכונה.

פסיעה

#image

בפעולת קונבולוציה או איגום, הדלתא בכל מימד של הסדרה הבאה של פרוסות הקלט. לדוגמה, באנימציה הבאה מוצג מעבר (1,1) במהלך פעולת קונבולוציה. לכן, פרוסת הקלט הבאה מתחילה מיקום אחד מימין לפרוסת הקלט הקודמת. כשהפעולה מגיעה לקצה הימני, הפלח הבא נמצא בצד השמאלי, אבל מיקום אחד למטה.

בדוגמה שלמעלה מוצג דילוג דו-ממדי. אם מטריצת הקלט היא תלת-ממדית, גם הצעד יהיה תלת-ממדי.

צמצום סיכונים מבניים (SRM)

אלגוריתם שמאזן בין שני יעדים:

• הצורך לבנות את המודל הכי מדויק (לדוגמה, עם האובדן הכי נמוך).
• הצורך לשמור על מודל פשוט ככל האפשר (לדוגמה, רגולריזציה חזקה).

לדוגמה, פונקציה שממזערת את אובדן הנתונים + הרגולריזציה במערך האימון היא אלגוריתם של מזעור סיכונים מבניים.

ההפך מצמצום סיכונים אמפירי.

דגימת משנה

#image

מידע נוסף זמין במאמר בנושא איגום.

טוקן של תת-מילה

#language

במודלים של שפה, טוקן הוא מחרוזת משנה של מילה, שיכולה להיות המילה כולה.

לדוגמה, מילה כמו itemize (לפרט) יכולה להתפרק לחלקים item (פריט) (מילת בסיס) ו-ize (סיומת), וכל אחד מהם מיוצג על ידי טוקן משלו. פיצול מילים לא נפוצות לחלקים כאלה, שנקראים מילות משנה, מאפשר למודלים של שפה לפעול על החלקים הנפוצים יותר של המילה, כמו תחיליות וסיומות.

לעומת זאת, מילים נפוצות כמו going לא יפוצלו ויכול להיות שיוצגו באמצעות טוקן יחיד.

סיכום

#TensorFlow

ב-TensorFlow, ערך או קבוצת ערכים שמחושבים בשלב מסוים, בדרך כלל משמשים למעקב אחרי מדדי המודל במהלך האימון.

למידת מכונה מפוקחת

#fundamentals

אימון מודל מתכונות והתוויות התואמות שלהן. למידת מכונה מפוקחת דומה ללימוד נושא מסוים על ידי עיון בסדרת שאלות ובתשובות המתאימות להן. אחרי שהתלמיד או התלמידה מבינים את הקשר בין השאלות לתשובות, הם יכולים לענות על שאלות חדשות (שלא נראו קודם) באותו נושא.

השוואה ללמידת מכונה לא מפוקחת.

מידע נוסף זמין במאמר Supervised Learning (למידה מפוקחת) בקורס Introduction to ML (מבוא ל-ML).

תכונה סינתטית

#fundamentals

תכונה שלא מופיעה בין תכונות הקלט, אבל מורכבת מאחת או יותר מהן. שיטות ליצירת תכונות סינתטיות:

• חלוקה לקטגוריות של תכונה רציפה לקטגוריות של טווחים.
• יצירת תכונה חוצה.
• הכפלה (או חלוקה) של ערך תכונה אחד בערך תכונה אחר או בעצמו. לדוגמה, אם a ו-b הם מאפייני קלט, אלה דוגמאות למאפיינים סינתטיים:
  • ab
  • a²
• החלת פונקציה טרנסצנדנטית על ערך של תכונה. לדוגמה, אם c הוא מאפיין קלט, אלה דוגמאות למאפיינים סינתטיים:
  • sin(c)
  • ln(c)

תכונות שנוצרו על ידי נרמול או שינוי קנה מידה בלבד לא נחשבות לתכונות סינתטיות.

T

T5

#language

מודל ללמידת העברה מטקסט לטקסט שהוצג על ידי AI מבית Google בשנת 2020. ‫T5 הוא מודל מקודד-מפענח שמבוסס על ארכיטקטורת Transformer, שאומן על מערך נתונים גדול במיוחד. הוא יעיל במגוון משימות של עיבוד שפה טבעית (NLP), כמו יצירת טקסט, תרגום שפות ומענה על שאלות בצורה שיחתית.

השם T5 מגיע מחמש האותיות T בביטוי Text-to-Text Transfer Transformer (טרנספורמציה של טקסט לטקסט).

T5X

T5X

#language

מסגרת למידת מכונה מבוססת קוד פתוח שנועדה ליצור ולאמן מודלים של עיבוד שפה טבעית (NLP) בקנה מידה גדול. ‫T5 מיושם בבסיס הקוד של T5X (שמבוסס על JAX ועל Flax).

tabular Q-learning

#rl

בלמידת חיזוק, מיישמים Q-learning באמצעות טבלה לאחסון פונקציות Q לכל שילוב של מצב ופעולה.

יעד

מילה נרדפת לתווית.

רשת יעד

#rl

ב-Deep Q-learning, רשת נוירונים שהיא קירוב יציב של רשת הנוירונים הראשית, כאשר רשת הנוירונים הראשית מיישמת פונקציית Q או מדיניות. לאחר מכן, אפשר לאמן את הרשת הראשית על ערכי ה-Q שחזתה רשת היעד. כך נמנעים ממצב של לולאת משוב שמתרחשת כשהרשת הראשית מתאמנת על ערכי Q שחזתה בעצמה. הימנעות מהמשוב הזה משפרת את יציבות האימון.

משימה

בעיה שאפשר לפתור באמצעות טכניקות של למידת מכונה, כמו:

• ‫classification
• regression
• clustering
• זיהוי אנומליות

טמפרטורה

#language

#image

#generativeAI

היפרפרמטר ששולט במידת הרנדומיזציה של הפלט של מודל. טמפרטורות גבוהות יותר מובילות לתוצאות אקראיות יותר, ואילו טמפרטורות נמוכות יותר מובילות לתוצאות פחות אקראיות.

הטמפרטורה הטובה ביותר תלויה באפליקציה הספציפית ובערכי המחרוזת.

נתונים זמניים

נתונים שתועדו בנקודות זמן שונות. לדוגמה, נתוני מכירות של מעילי חורף שנרשמו לכל יום בשנה הם נתונים זמניים.

Tensor

#TensorFlow

מבנה הנתונים העיקרי בתוכניות TensorFlow. טנסורים הם מבני נתונים בעלי N ממדים (כאשר N יכול להיות מספר גדול מאוד), בדרך כלל סקלרים, וקטורים או מטריצות. האלמנטים של טנסור יכולים להכיל מספרים שלמים, מספרים עשרוניים או ערכי מחרוזת.

TensorBoard

#TensorFlow

לוח הבקרה שבו מוצגים הסיכומים שנשמרו במהלך ההרצה של תוכנית TensorFlow אחת או יותר.

TensorFlow

#TensorFlow

פלטפורמה מבוזרת של למידת מכונה בקנה מידה גדול. המונח מתייחס גם לשכבת ה-API הבסיסית במערך TensorFlow, שתומכת בחישוב כללי בתרשימי זרימת נתונים.

למרות ש-TensorFlow משמש בעיקר ללמידת מכונה, אפשר להשתמש בו גם למשימות שאינן קשורות ללמידת מכונה, שדורשות חישובים מספריים באמצעות גרפים של זרימת נתונים.

‫TensorFlow Playground

#TensorFlow

תוכנית שמציגה באופן חזותי איך היפרפרמטרים שונים משפיעים על אימון המודל (בעיקר רשת עצבית). כדי להתנסות ב-TensorFlow Playground, עוברים אל http://playground.tensorflow.org.

TensorFlow Serving

#TensorFlow

פלטפורמה לפריסת מודלים מאומנים בסביבת ייצור.

Tensor Processing Unit (TPU)

#TensorFlow

#GoogleCloud

מעגל משולב לאפליקציות ספציפיות (ASIC) שמבצע אופטימיזציה של הביצועים של עומסי עבודה של למידת מכונה. ה-ASIC האלה נפרסים כשבבי TPU מרובים במכשיר TPU.

דירוג טנסור

#TensorFlow

מידע נוסף זמין במאמר בנושא rank (Tensor).

צורת טנסור

#TensorFlow

מספר הרכיבים ש-Tensor מכיל במאפיינים שונים. לדוגמה, לטנזור [5, 10] יש צורה של 5 בממד אחד ו-10 בממד אחר.

גודל הטנסור

#TensorFlow

המספר הכולל של ערכים סקלריים ש-Tensor מכיל. לדוגמה, לטנזור [5, 10] יש גודל של 50.

TensorStore

ספרייה לקריאה ולכתיבה יעילות של מערכים גדולים רב-ממדיים.

תנאי סיום

#rl

בלמידת חיזוק, התנאים שמגדירים מתי פרק מסתיים, למשל כשהסוכן מגיע למצב מסוים או חורג ממספר סף של מעברים בין מצבים. לדוגמה, באיקס עיגול, פרק מסתיים כששחקן מסמן שלושה ריבועים רצופים או כשכל הריבועים מסומנים.

בדיקה

#df

בעץ החלטות, שם נוסף לתנאי.

אובדן נתונים במהלך בדיקה

#fundamentals

#Metric

מדד שמייצג את ההפסד של מודל בהשוואה לקבוצת הבדיקה. כשבונים מודל, בדרך כלל מנסים למזער את הפסד הבדיקה. הסיבה לכך היא שערך נמוך של הפסד בבדיקה הוא אות איכות חזק יותר מערך נמוך של הפסד באימון או של הפסד באימות.

פער גדול בין הפסד הבדיקה לבין הפסד האימון או הפסד האימות מצביע לפעמים על הצורך להגדיל את שיעור הרגולריזציה.

קבוצת נתונים לבדיקה

קבוצת משנה של מערך הנתונים ששמורה לבדיקה של מודל שאומן.

באופן מסורתי, מחלקים את הדוגמאות במערך הנתונים לשלוש קבוצות משנה נפרדות:

• קבוצת נתונים לאימון
• קבוצת נתונים לתיקוף
• קבוצת נתונים לבדיקה

כל דוגמה בקבוצת נתונים צריכה להיות שייכת רק לאחת מקבוצות המשנה הקודמות. לדוגמה, דוגמה אחת לא יכולה להיות גם בקבוצת האימון וגם בקבוצת הבדיקה.

קבוצת הנתונים לאימון וקבוצת הנתונים לתיקוף קשורות קשר הדוק לאימון של מודל. מכיוון שקבוצת הבדיקה משויכת לאימון באופן עקיף בלבד, ההפסד של הבדיקה הוא מדד פחות מוטה ואיכותי יותר מאשר ההפסד של האימון או ההפסד של האימות.

מידע נוסף זמין במאמר מערכי נתונים: חלוקת מערך הנתונים המקורי בקורס המקוצר על למידת מכונה.

טווח טקסט

#language

טווח האינדקס של המערך שמשויך לחלק משנה ספציפי של מחרוזת טקסט. לדוגמה, המילה good במחרוזת Python‏ s="Be good now" תופסת את טווח הטקסט מ-3 עד 6.

tf.Example

#TensorFlow

פרוטוקול buffer סטנדרטי לתיאור נתוני קלט לאימון או להסקת מסקנות של מודל למידת מכונה.

tf.keras

#TensorFlow

הטמעה של Keras שמשולבת ב-TensorFlow.

סף (עבור עצי החלטה)

#df

בתנאי שמתייחס לציר, הערך שאליו התכונה מושווית. לדוגמה, 75 הוא ערך הסף בתנאי הבא:

grade >= 75

המשמעות של המונח סף שונה מהמשמעות של סף סיווג.

מידע נוסף זמין במאמר Exact splitter for binary classification with numerical features בקורס בנושא Decision Forests.

ניתוח של פעולות על ציר הזמן

#clustering

תחום משנה של למידת מכונה וסטטיסטיקה שבו מנתחים נתונים זמניים. סוגים רבים של בעיות למידת מכונה דורשים ניתוח של סדרות זמן, כולל סיווג, אשכול, חיזוי וזיהוי אנומליות. לדוגמה, אפשר להשתמש בניתוח של סדרות עיתיות כדי לחזות את נתוני המכירות העתידיים של מעילי חורף לפי חודש, על סמך נתוני מכירות היסטוריים.

timestep

#seq

תא אחד 'לא מגולגל' בתוך רשת נוירונים חוזרת. לדוגמה, באיור הבא מוצגים שלושה שלבים (מסומנים במדדי המשנה t-1,‏ t ו-t+1):

token

#language

במודל שפה, היחידה האטומית שעליה המודל מתאמן ומבצע חיזויים. אסימון הוא בדרך כלל אחד מהבאים:

• מילה – לדוגמה, הביטוי "dogs like cats" מורכב משלושה טוקנים של מילים: "dogs",‏ "like" ו-"cats".
• תו – לדוגמה, הביטוי bike fish מורכב מתשעה טוקנים של תווים. (שימו לב שהרווח נספר כאחד מהטוקנים).
• מילים חלקיות – מילה אחת יכולה להיות טוקן אחד או כמה טוקנים. מילת משנה מורכבת ממילת בסיס, מקידומת או מסיומת. לדוגמה, מודל שפה שמשתמש במילים חלקיות כאסימונים עשוי לראות את המילה dogs כשני אסימונים (מילת הבסיס dog והסיומת לרבים s). אותו מודל שפה עשוי לראות במילה היחידה "גבוה יותר" שתי מילים משנה (מילת הבסיס "גבוה" והסיומת "יותר").

בדומיינים מחוץ למודלי שפה, טוקנים יכולים לייצג סוגים אחרים של יחידות אטומיות. לדוגמה, בראייה ממוחשבת, טוקן יכול להיות קבוצת משנה של תמונה.

מידע נוסף זמין במאמר מודלים גדולים של שפה בקורס Machine Learning Crash Course.

tokenizer

#language

מערכת או אלגוריתם שמתרגמים רצף של נתוני קלט לטוקנים.

רוב המודלים הבסיסיים המודרניים הם מולטימודאליים. טוקנייזר למערכת מולטימודלית צריך לתרגם כל סוג קלט לפורמט המתאים. לדוגמה, אם נתוני הקלט כוללים גם טקסט וגם גרפיקה, יכול להיות שהטוקנייזר יתרגם את טקסט הקלט למילים חלקיות ואת תמונות הקלט לטלאים קטנים. לאחר מכן, הטוקנייזר צריך להמיר את כל הטוקנים למרחב הטמעה מאוחד יחיד, כדי שהמודל יוכל 'להבין' זרם של קלט רב-אופני.

דיוק top-k

#language

#Metric

אחוז הפעמים שבהן 'תווית היעד' מופיעה בתוך k המיקומים הראשונים של רשימות שנוצרו. הרשימות יכולות להיות המלצות מותאמות אישית או רשימה של פריטים שמסודרים לפי softmax.

דיוק k המובילים נקרא גם דיוק ב-k.

הערה: תווית היעד יכולה להיות כל מחלקה (לא בהכרח המחלקה של האמת הבסיסית), ולכן הדיוק של k התוצאות המובילות לא תמיד שווה לדיוק רגיל.

לוחצים על הסמל כדי לראות דוגמה.

נניח שיש מערכת למידת מכונה שמשתמשת ב-softmax כדי לזהות הסתברויות של עצים על סמך תמונה של עלי עצים. בטבלה הבאה מוצגות רשימות פלט שנוצרו מחמש תמונות של עצי קלט. כל שורה מכילה תווית יעד וחמישה עצים עם הסבירות הגבוהה ביותר. לדוגמה, אם תווית היעד הייתה maple (אדר), מודל למידת המכונה זיהה את elm (אלם) כעץ הכי סביר, את oak (אלון) כעץ השני הכי סביר וכן הלאה.

תווית היעד	1	2	3	4	5
מייפל	בוקיצה	אלון	maple	אשור	צפצפה
קרנית	אלון	dogwood	צפצפה	Hickory	מייפל
אלון	oak	טיליה	ארבה	אלמון	Linden
Linden	מייפל	פפאיה	אלון	טיליה	צפצפה
אלון	ארבה	Linden	oak	מייפל	פפאיה

תווית היעד מופיעה במיקום הראשון רק פעם אחת, ולכן הדיוק במיקום הראשון הוא:

$$\text{top-1 accuracy} = \frac{\text{1}} {\text{5}} = 0.2$$

תווית היעד מופיעה באחד משלושת המיקומים הראשונים ארבע פעמים, לכן רמת הדיוק של 3 המובילים היא:

$$\text{top-1 accuracy} = \frac{\text{4}} {\text{5}} = 0.8$$

---

מגדל

רכיב של רשת נוירונים עמוקה שהוא בעצמו רשת נוירונים עמוקה. במקרים מסוימים, כל מגדל קורא ממקור נתונים עצמאי, והמגדלים האלה נשארים עצמאיים עד שהפלט שלהם משולב בשכבה סופית. במקרים אחרים (לדוגמה, ב-מקודד וב-מפענח של טרנספורמרים), יש קשרים צולבים בין המגדלים.

תוכן רעיל

#language

#Metric

המידה שבה התוכן פוגעני, מאיים או מעליב. מודלים רבים של למידת מכונה יכולים לזהות ולמדוד רעילות. רוב המודלים האלה מזהים רעילות לפי כמה פרמטרים, כמו רמת השפה הפוגעת ורמת השפה המאיימת.

TPU

#TensorFlow

#GoogleCloud

קיצור של Tensor Processing Unit (יחידת עיבוד טנסור).

שבב TPU

#TensorFlow

#GoogleCloud

מאיץ אלגברה לינארית שניתן לתכנות עם זיכרון בעל רוחב פס גבוה על השבב, שעבר אופטימיזציה לעומסי עבודה של למידת מכונה. כמה שבבי TPU נפרסים במכשיר TPU.

מכשיר TPU

#TensorFlow

#GoogleCloud

לוח מעגלים מודפס (PCB) עם כמה שבבי TPU, ממשקי רשת עם רוחב פס גבוה ורכיבי חומרה לקירור המערכת.

צומת TPU

#TensorFlow

#GoogleCloud

משאב TPU ב-Google Cloud עם סוג TPU ספציפי. צומת ה-TPU מתחבר לרשת ה-VPC מרשת VPC שכנה. צומתי TPU הם משאב שמוגדר ב-Cloud TPU API.

TPU Pod

#TensorFlow

#GoogleCloud

תצורה ספציפית של מכשירי TPU במרכז נתונים של Google. כל המכשירים ב-TPU Pod מחוברים זה לזה באמצעות רשת ייעודית מהירה. ‫TPU Pod הוא ההגדרה הגדולה ביותר של מכשירי TPU שזמינה לגרסה ספציפית של TPU.

משאב TPU

#TensorFlow

#GoogleCloud

ישות TPU ב-Google Cloud שאתם יוצרים, מנהלים או משתמשים בה. לדוגמה, צומתי TPU וסוגי TPU הם משאבי TPU.

TPU slice

#TensorFlow

#GoogleCloud

‫TPU slice הוא חלק קטן ממכשירי TPU בTPU Pod. כל המכשירים ב-TPU slice מחוברים זה לזה באמצעות רשת ייעודית מהירה.

סוג ה-TPU

#TensorFlow

#GoogleCloud

הגדרה של מכשירי TPU אחד או יותר עם גרסת חומרה ספציפית של TPU. כשיוצרים צומת TPU ב-Google Cloud, בוחרים את סוג ה-TPU. לדוגמה, סוג TPU‏ v2-8 הוא מכשיר TPU v2 יחיד עם 8 ליבות. ‫TPU מסוג v3-2048 כולל 256 מכשירי TPU v3 שמחוברים לרשת, ובסך הכול 2,048 ליבות. סוגי TPU הם משאב שמוגדר ב-Cloud TPU API.

TPU worker

#TensorFlow

#GoogleCloud

תהליך שפועל במכונת מארח ומבצע תוכניות של למידת מכונה במכשירי TPU.

הדרכה

#fundamentals

התהליך של קביעת הפרמטרים האידיאליים (משקלים והטיות) שמרכיבים מודל. במהלך האימון, המערכת קוראת דוגמאות ומתאימה בהדרגה את הפרמטרים. במהלך האימון, כל דוגמה משמשת בין כמה פעמים למיליארדי פעמים.

מידע נוסף זמין במאמר Supervised Learning (למידה מפוקחת) בקורס Introduction to ML (מבוא ל-ML).

הפסד האימון

#fundamentals

#Metric

מדד שמייצג את האובדן של מודל במהלך איטרציה מסוימת של אימון. לדוגמה, נניח שפונקציית ההפסד היא Mean Squared Error. יכול להיות שההפסד של האימון (השגיאה הממוצעת בריבוע) באיטרציה העשירית הוא 2.2, וההפסד של האימון באיטרציה ה-100 הוא 1.9.

בעקומת הפסד מוצג הפסד האימון לעומת מספר האיטרציות. עקומת ההפסד מספקת את הרמזים הבאים לגבי האימון:

• שיפוע כלפי מטה מעיד על שיפור במודל.
• שיפוע כלפי מעלה מעיד על כך שהמודל הולך ומשתפר.
• שיפוע שטוח מרמז שהמודל הגיע להתכנסות.

לדוגמה, עקומת ההפסד הבאה, שהיא קצת אידיאלית, מציגה:

• שיפוע חד כלפי מטה במהלך האיטרציות הראשוניות, שמצביע על שיפור מהיר של המודל.
• שיפוע שמשתטח בהדרגה (אבל עדיין יורד) עד לסיום האימון, מה שמצביע על שיפור מתמשך של המודל בקצב איטי יותר מאשר במהלך האיטרציות הראשוניות.
• שיפוע מתון לקראת סוף האימון, שמצביע על התכנסות.

אף על פי שחשוב להבין את הפסדי האימון, כדאי גם לעיין במושג הכללה.

training-serving skew

#fundamentals

ההבדל בין הביצועים של מודל מסוים במהלך האימון לבין הביצועים של אותו מודל במהלך ההפעלה.

קבוצת נתונים לאימון

#fundamentals

קבוצת המשנה של מערך הנתונים שמשמשת לאימון מודל.

באופן מסורתי, הדוגמאות במערך הנתונים מחולקות לשלוש קבוצות משנה נפרדות:

• קבוצת נתונים לאימון
• קבוצת נתונים לתיקוף
• קבוצת נתונים לבדיקה

באופן אידיאלי, כל דוגמה בקבוצת הנתונים צריכה להיות שייכת רק לאחת מקבוצות המשנה הקודמות. לדוגמה, דוגמה אחת לא יכולה להיות גם בקבוצת האימון וגם בקבוצת האימות.

מידע נוסף זמין במאמר מערכי נתונים: חלוקת מערך הנתונים המקורי בקורס המקוצר על למידת מכונה.

מסלול

#rl

בלמידת חיזוק, רצף של טפלים שמייצגים רצף של מעברי מצב של הסוכן, כאשר כל טפל מתאים למצב, פעולה, תגמול ולמצב הבא של מעבר מצב נתון.

למידה העברתית

העברת מידע ממשימת למידת מכונה אחת לאחרת. לדוגמה, בלמידה מרובת-משימות, מודל יחיד פותר כמה משימות, כמו מודל עמוק שיש לו צמתי פלט שונים למשימות שונות. העברת ידע יכולה לכלול העברת ידע מפתרון של משימה פשוטה יותר למשימה מורכבת יותר, או העברת ידע ממשימה שבה יש יותר נתונים למשימה שבה יש פחות נתונים.

רוב מערכות הלמידה החישובית פותרות משימה אחת. למידה בהעברה היא צעד ראשון לקראת בינה מלאכותית, שבו תוכנית אחת יכולה לפתור כמה משימות.

רובוטריק

#language

ארכיטקטורה של רשת עצבית שפותחה ב-Google ומסתמכת על מנגנוני self-attention כדי להמיר רצף של הטמעות קלט לרצף של הטמעות פלט, בלי להסתמך על convolutions או על רשתות עצביות חוזרות. אפשר לראות טרנספורמר כסטאק של שכבות קשב עצמי.

טרנספורמציה יכולה לכלול כל אחד מהרכיבים הבאים:

• מקודד
• מפענח
• גם מקודד וגם מפענח

מקודד הופך רצף של הטמעות לרצף חדש באורך זהה. מקודד כולל N שכבות זהות, שכל אחת מהן מכילה שתי תת-שכבות. שתי שכבות המשנה האלה מוחלות בכל מיקום של רצף הטמעת הקלט, והן הופכות כל אלמנט ברצף להטמעה חדשה. שכבת המשנה הראשונה של המקודד צוברת מידע מכל רצף הקלט. שכבת המשנה השנייה של המקודד הופכת את המידע המצטבר להטמעה של פלט.

מפענח הופך רצף של הטמעות קלט לרצף של הטמעות פלט, שאולי יש לו אורך שונה. מפענח כולל גם N שכבות זהות עם שלוש שכבות משנה, שתיים מהן דומות לשכבות המשנה של המקודד. שכבת המשנה השלישית של המפענח מקבלת את הפלט של המקודד ומפעילה את מנגנון הקשב העצמי כדי לאסוף ממנו מידע.

בפוסט בבלוג Transformer: A Novel Neural Network Architecture for Language Understanding מוצג מבוא טוב לטרנספורמרים.

מידע נוסף זמין במאמר LLMs: What's a large language model? (מודלים גדולים של שפה: מהו מודל שפה גדול?) בקורס Machine Learning Crash Course (קורס מקוצר על למידת מכונה).

אינווריאנטיות תרגומית

#image

בבעיה של סיווג תמונות, היכולת של אלגוריתם לסווג תמונות בהצלחה גם כשמיקום האובייקטים בתוך התמונה משתנה. לדוגמה, האלגוריתם עדיין יכול לזהות כלב, בין אם הוא במרכז הפריים או בקצה השמאלי של הפריים.

אפשר לקרוא גם על אי-תלות בגודל ועל אי-תלות בסיבוב.

טריגרמה

#seq

#language

N-gram שבו N=3.

שלילי אמיתי (TN)

#fundamentals

#Metric

דוגמה שבה המודל מנבא בצורה נכונה את הסיווג השלילי. לדוגמה, המודל מסיק שהודעת אימייל מסוימת היא לא ספאם, והודעת האימייל הזו באמת לא ספאם.

חיובי אמיתי (TP)

#fundamentals

#Metric

דוגמה שבה המודל מנבא בצורה נכונה את הסיווג החיובי. לדוגמה, המודל מסיק שהודעת אימייל מסוימת היא ספאם, והודעת האימייל הזו באמת ספאם.

שיעור החיוביים האמיתיים (TPR)

#fundamentals

#Metric

מילה נרדפת לrecall. כלומר:

$$\text{true positive rate} = \frac {\text{true positives}} {\text{true positives} + \text{false negatives}}$$

שיעור החיוביים האמיתיים הוא ציר ה-y בעקומת ROC.

TTL

קיצור של Time to Live (אורך חיים).

U

Ultra

#generativeAI

מודל Gemini עם הכי הרבה פרמטרים. פרטים נוספים זמינים במאמר בנושא Gemini Ultra.

אפשר גם לעיין במאמרים בנושא Pro ו-Nano.

חוסר מודעות (למאפיין רגיש)

#responsible

מצב שבו קיימים מאפיינים רגישים, אבל הם לא נכללים בנתוני האימון. מאחר שלעתים קרובות יש קורלציה בין מאפיינים רגישים לבין מאפיינים אחרים בנתונים שלכם, יכול להיות שלמודל שאומן בלי להביא בחשבון מאפיין רגיש עדיין תהיה השפעה לא שוויונית ביחס למאפיין הזה, או שהוא יפר אילוצים אחרים של הוגנות.

התאמה חסרה (underfitting)

#fundamentals

יצירת מודל עם יכולת חיזוי נמוכה, כי המודל לא הצליח לתפוס באופן מלא את המורכבות של נתוני האימון. יש הרבה בעיות שיכולות לגרום להתאמה חסרה, כולל:

• אימון על קבוצה שגויה של תכונות.
• אימון למספר נמוך מדי של תקופות אימון או בקצב למידה נמוך מדי.
• אימון עם שיעור רגולריזציה גבוה מדי.
• הוספת מעט מדי שכבות נסתרות לרשת נוירונים עמוקה.

מידע נוסף מופיע במאמר בנושא התאמת יתר בקורס המקוצר על למידת מכונה.

תת-דגימה

הסרת דוגמאות מהסיווג הרוב במערך נתונים לא מאוזן של סיווגים כדי ליצור מערך אימון מאוזן יותר.

לדוגמה, נניח שיש מערך נתונים שבו היחס בין הסיווג הנפוץ ביותר לבין הסיווג הנפוץ הכי פחות הוא 20:1. כדי להתגבר על חוסר האיזון הזה בין המחלקות, אפשר ליצור מערך אימון שמורכב מכל הדוגמאות של מחלקת המיעוט, אבל רק מעשירית מהדוגמאות של מחלקת הרוב. כך נוצר יחס של 2:1 בין המחלקות במערך האימון. בזכות דילול הדגימה, יכול להיות שמערך האימון המאוזן יותר הזה יניב מודל טוב יותר. לחלופין, יכול להיות שקבוצת האימון המאוזנת יותר הזו לא תכיל מספיק דוגמאות לאימון מודל יעיל.

ההבדל בין השיטה הזו לבין דגימת יתר.

חד-כיווני

#language

מערכת שמעריכה רק את הטקסט שקודם לקטע טקסט היעד. לעומת זאת, במערכת דו-כיוונית מתבצעת הערכה של הטקסט שקודם לקטע הטקסט המיועד ושל הטקסט שאחריו. פרטים נוספים זמינים במאמר בנושא דו-כיווניות.

מודל שפה חד-כיווני

#language

מודל שפה שמבוסס על הסתברויות רק של טוקנים שמופיעים לפני הטוקנים שמטורגטים, ולא אחרי הטוקנים שמטורגטים. ההפך ממודל שפה דו-כיווני.

דוגמה ללא תווית

#fundamentals

דוגמה שכוללת תכונות אבל לא תווית. לדוגמה, בטבלה הבאה מוצגות שלוש דוגמאות לא מסומנות ממודל להערכת שווי של בית, שלכל אחת מהן יש שלושה מאפיינים אבל לא ערך בית:

מספר חדרי שינה	מספר חדרי אמבטיה	גיל הבית
3	2	15
2	1	72
4	2	34

בלמידת מכונה מבוקרת, מודלים מתאמנים על דוגמאות מתויגות ומבצעים חיזויים על דוגמאות לא מתויגות.

בלמידה מונחית למחצה ובלמידה לא מונחית, נעשה שימוש בדוגמאות לא מסומנות במהלך האימון.

השוו בין דוגמה ללא תוויות לבין דוגמה עם תוויות.

למידת מכונה לא מפוקחת

#clustering

#fundamentals

אימון מודל כדי לזהות דפוסים במערך נתונים, בדרך כלל מערך נתונים לא מסומן.

השימוש הנפוץ ביותר בלמידת מכונה לא מפוקחת הוא אשכול של נתונים לקבוצות של דוגמאות דומות. לדוגמה, אלגוריתם ללמידת מכונה לא מפוקחת יכול לקבץ שירים לאשכולות על סמך מאפיינים שונים של המוזיקה. האשכולות שמתקבלים יכולים לשמש כקלט לאלגוריתמים אחרים של למידת מכונה (למשל, לשירות המלצות למוזיקה). האשכולות יכולים לעזור אם יש מעט תוויות שימושיות או אם אין כאלה בכלל. לדוגמה, בתחומים כמו מניעת ניצול לרעה והונאה, אשכולות יכולים לעזור לבני אדם להבין טוב יותר את הנתונים.

ההבדל בין למידת מכונה לא מפוקחת לבין למידת מכונה מפוקחת.

כדי לראות הערות נוספות, לוחצים על הסמל.

דוגמה נוספת ללמידת מכונה לא מפוקחת היא ניתוח רכיבים עיקריים (PCA). לדוגמה, יישום PCA על מערך נתונים שמכיל את התוכן של מיליוני עגלות קניות עשוי לחשוף שעגלות קניות שמכילות לימונים מכילות גם תרופות נגד צרבת.

---

מידע נוסף זמין במאמר מהי למידת מכונה? בקורס 'מבוא ל-ML'.

שיפור בבניית מודל המרות

טכניקת מידול, שנפוצה בשימוש בשיווק, שמדמה את 'ההשפעה הסיבתית' (שנקראת גם 'ההשפעה המצטברת') של 'טיפול' על 'פרט'. להלן שתי דוגמאות:

• רופאים יכולים להשתמש במודלים לחיזוי עלייה כדי לחזות את הירידה בשיעור התמותה (השפעה סיבתית) של הליך רפואי (טיפול) בהתאם לגיל ולהיסטוריה הרפואית של מטופל (אדם).
• משווקים יכולים להשתמש במודלים של עלייה כדי לחזות את העלייה בהסתברות לרכישה (השפעה סיבתית) כתוצאה ממודעה (טיפול) על אדם (פרט).

ההבדל בין מודלים לחיזוי עלייה לבין סיווג או רגרסיה הוא שבמודלים לחיזוי עלייה תמיד חסרות חלק מהתוויות (לדוגמה, מחצית מהתוויות בטיפולים בינאריים). לדוגמה, מטופל יכול לקבל טיפול או לא לקבל טיפול. לכן, אנחנו יכולים לראות אם המטופל יחלים או לא יחלים רק באחד משני המצבים האלה (אבל אף פעם לא בשניהם). היתרון העיקרי של מודל העלייה הוא שהוא יכול ליצור תחזיות לגבי מצב שלא נצפה (ההפוך לעובדה) ולהשתמש בהן כדי לחשב את ההשפעה הסיבתית.

הגדלת המשקל

החלת משקל על המחלקה downsampled ששווה לפקטור שבו נעשה downsampling.

מטריצת משתמשים

#recsystems

במערכות המלצות, וקטור הטמעה שנוצר על ידי פירוק מטריצות ומכיל אותות סמויים לגבי העדפות המשתמש. כל שורה במטריצת המשתמשים מכילה מידע על העוצמה היחסית של אותות סמויים שונים עבור משתמש יחיד. לדוגמה, נניח שיש מערכת להמלצות על סרטים. במערכת הזו, האותות הסמויים במטריצת המשתמשים עשויים לייצג את ההתעניינות של כל משתמש בז'אנרים מסוימים, או אותות שקשה יותר לפרש שכוללים אינטראקציות מורכבות בין כמה גורמים.

מטריצת המשתמשים כוללת עמודה לכל תכונה סמויה ושורה לכל משתמש. כלומר, למטריצת המשתמשים יש אותו מספר שורות כמו למטריצת היעד שעוברת פירוק לגורמים. לדוגמה, אם יש מערכת להמלצות על סרטים ל-1,000,000 משתמשים, מטריצת המשתמשים תכלול 1,000,000 שורות.

V

אימות

#fundamentals

ההערכה הראשונית של איכות המודל. במהלך האימות נבדקת איכות התחזיות של המודל בהשוואה לקבוצת האימות.

מכיוון שקבוצת האימות שונה מקבוצת האימון, האימות עוזר למנוע התאמת יתר.

אפשר לחשוב על הערכת המודל מול קבוצת האימות כסיבוב הראשון של הבדיקה, ועל הערכת המודל מול קבוצת הבדיקה כסיבוב השני של הבדיקה.

הפסד אימות

#fundamentals

#Metric

מדד שמייצג את ההפסד של מודל בקבוצת האימות במהלך איטרציה מסוימת של אימון.

אפשר לעיין גם בעקומת ההכללה.

קבוצת נתונים לתיקוף

#fundamentals

קבוצת המשנה של מערך הנתונים שמשמשת לביצוע הערכה ראשונית של מודל שאומן. בדרך כלל, מעריכים את המודל שאומן ביחס למערך האימות כמה פעמים לפני שמעריכים את המודל ביחס למערך הבדיקה.

באופן מסורתי, מחלקים את הדוגמאות במערך הנתונים לשלוש קבוצות משנה נפרדות:

• קבוצת נתונים לאימון
• קבוצת נתונים לתיקוף
• קבוצת נתונים לבדיקה

באופן אידיאלי, כל דוגמה בקבוצת הנתונים צריכה להיות שייכת רק לאחת מקבוצות המשנה הקודמות. לדוגמה, דוגמה אחת לא יכולה להיות גם בקבוצת האימון וגם בקבוצת האימות.

מידע נוסף זמין במאמר מערכי נתונים: חלוקת מערך הנתונים המקורי בקורס המקוצר על למידת מכונה.

השלמת ערכים חסרים

התהליך של החלפת ערך חסר בתחליף קביל. אם חסר ערך, אפשר לפסול את הדוגמה כולה או להשתמש בהשלמת ערכים כדי להציל את הדוגמה.

לדוגמה, נניח שיש קבוצת נתונים שמכילה מאפיין temperature שאמור להירשם כל שעה. עם זאת, קריאת הטמפרטורה לא הייתה זמינה בשעה מסוימת. קטע ממערך הנתונים:

חותמת זמן	טמפרטורה
1680561000	10
1680564600	12
1680568200	חסר
1680571800	20
1680575400	21
1680579000	21

המערכת יכולה למחוק את הדוגמה החסרה או להזין את הטמפרטורה החסרה כ-12, 16, 18 או 20, בהתאם לאלגוריתם ההשלמה.

בעיית הגרדיאנט הנעלם

#seq

הנטייה של הגרדיאנטים של שכבות מוסתרות מוקדמות של חלק מרשתות עצביות עמוקות להיות שטוחים (נמוכים) באופן מפתיע. שיפועים נמוכים יותר ויותר מובילים לשינויים קטנים יותר ויותר במשקלים בצמתים ברשת נוירונים עמוקה, וכתוצאה מכך למידה מועטה או ללא למידה בכלל. קשה או בלתי אפשרי לאמן מודלים שסובלים מבעיית הגרדיאנט הנעלם. תאי Long Short-Term Memory (זיכרון לטווח קצר ארוך) פותרים את הבעיה הזו.

השוואה לבעיית הגרדיאנט המתפוצץ.

חשיבות המשתנים

#df

#Metric

קבוצת ציונים שמציינת את החשיבות היחסית של כל תכונה למודל.

לדוגמה, נניח שיש עץ החלטה שמבצע הערכה של מחירי בתים. נניח שעץ ההחלטה הזה משתמש בשלושה מאפיינים: מידה, גיל וסגנון. אם קבוצת חשיבות המשתנים של שלושת המאפיינים היא {size=5.8, age=2.5, style=4.7}, אז המאפיין size חשוב יותר לעץ ההחלטה מהמאפיינים age או style.

קיימים מדדים שונים לחשיבות משתנים, שיכולים לספק למומחי למידת מכונה מידע על היבטים שונים של מודלים.

מקודד אוטומטי וריאציוני (VAE)

#language

סוג של autoencoder שמנצל את הפער בין הקלט לפלט כדי ליצור גרסאות משופרות של הקלט. מקודדים אוטומטיים משתנים שימושיים ל-AI גנרטיבי.

מודלים של VAE מבוססים על הסקה וריאציונית: טכניקה להערכת הפרמטרים של מודל הסתברותי.

וקטור

מונח עמוס מאוד שהמשמעות שלו משתנה בין תחומים מתמטיים ומדעיים שונים. במסגרת למידת מכונה, לווקטור יש שתי תכונות:

• סוג הנתונים: וקטורים בלמידת מכונה בדרך כלל מכילים מספרים עם נקודה עשרונית.
• מספר האלמנטים: זהו האורך של הווקטור או הממד שלו.

לדוגמה, נניח שיש וקטור תכונות שמכיל שמונה מספרים ממשיים. וקטור המאפיינים הזה הוא באורך או בממד של שמונה. שימו לב שלוקטורים של למידת מכונה יש בדרך כלל מספר עצום של ממדים.

אפשר לייצג סוגים רבים ושונים של מידע כווקטור. לדוגמה:

• כל מיקום על פני כדור הארץ יכול להיות מיוצג כווקטור דו-ממדי, כאשר מימד אחד הוא קו הרוחב והשני הוא קו האורך.
• המחירים הנוכחיים של כל אחת מ-500 מניות יכולים להיות מיוצגים כווקטור של 500 ממדים.
• אפשר לייצג התפלגות הסתברויות על מספר סופי של מחלקות כווקטור. לדוגמה, מערכת סיווג רב-מחלקתי שמנבאת אחד משלושה צבעי פלט (אדום, ירוק או צהוב) יכולה להפיק את הווקטור (0.3, 0.2, 0.5) כדי לציין P[red]=0.3, P[green]=0.2, P[yellow]=0.5.

אפשר לשרשר וקטורים, ולכן אפשר לייצג מגוון של מדיה שונה כווקטור יחיד. חלק מהמודלים פועלים ישירות על שרשור של הרבה קידודים חמים.

מעבדים ייעודיים כמו TPU מותאמים לביצוע פעולות מתמטיות על וקטורים.

וקטור הוא טנזור מדרגה 1.

שיא

#GoogleCloud

#generativeAI

הפלטפורמה של Google Cloud ל-AI ולמידת מכונה. ‫Vertex מספקת כלים ותשתית לפיתוח, לפריסה ולניהול של אפליקציות AI, כולל גישה למודלים של Gemini.

W

פונקציית הפסד Wasserstein

#Metric

אחת מפונקציות ההפסד שבהן נעשה שימוש בדרך כלל ברשתות יריבות גנרטיביות, על סמך המרחק בין התפלגות הנתונים שנוצרו לבין הנתונים האמיתיים.

משקל

#fundamentals

ערך שהמודל מכפיל בערך אחר. אימון הוא התהליך של קביעת המשקולות האידיאליים של המודל. הסקת מסקנות היא התהליך של שימוש במשקולות שנלמדו כדי ליצור תחזיות.

כדי לראות דוגמה למשקלים במודל לינארי, לוחצים על הסמל.

דמיינו מודל לינארי עם שני מאפיינים. נניח שהאימון קובע את המשקלים הבאים (והטיה):

• ההטיה, b, היא 2.2
• המשקל, w₁ שמשויך לתכונה אחת הוא 1.5.
• המשקל, w₂ שמשויך לתכונה השנייה הוא 0.4.

עכשיו נדמיין דוגמה עם ערכי התכונות הבאים:

• הערך של תכונה אחת, x₁, הוא 6.
• הערך של התכונה השנייה, x₂, הוא 10.

המודל הליניארי הזה משתמש בנוסחה הבאה כדי ליצור תחזית, y':

$$y' = b + w_1x_1 + w_2x_2$$

לכן, התחזית היא:

$$y' = 2.2 + (1.5)(6) + (0.4)(10) = 15.2$$

אם המשקל הוא 0, התכונה המתאימה לא תורמת למודל. לדוגמה, אם w₁ הוא 0, הערך של x₁ לא רלוונטי.

---

מידע נוסף זמין במאמר בנושא רגרסיה לינארית בקורס המקוצר על למידת מכונה.

שיטת הריבועים הפחותים לסירוגין עם משקולות (WALS)

#recsystems

אלגוריתם למזעור פונקציית המטרה במהלך פירוק מטריצות במערכות המלצות, שמאפשר להפחית את המשקל של הדוגמאות החסרות. אלגוריתם ה-WALS ממזער את השגיאה הריבועית המשוקללת בין המטריצה המקורית לבין השחזור על ידי מעבר לסירוגין בין תיקון הפירוק לשורות לבין תיקון הפירוק לעמודות. כל אחת מהאופטימיזציות האלה ניתנת לפתרון באמצעות אופטימיזציה קמורה של ריבועים פחותים. פרטים נוספים זמינים בקורס בנושא מערכות המלצה.

סכום משוקלל

#fundamentals

הסכום של כל ערכי הקלט הרלוונטיים כפול המשקלים המתאימים שלהם. לדוגמה, נניח שהקלט הרלוונטי כולל את הרכיבים הבאים:

ערך קלט	משקל קלט
2	‫1.3-
-1	0.6
3	0.4

לכן הסכום המשוקלל הוא:

weighted sum = (2)(-1.3) + (-1)(0.6) + (3)(0.4) = -2.0

סכום משוקלל הוא ארגומנט הקלט של פונקציית הפעלה.

מודל רחב

מודל ליניארי שבדרך כלל כולל הרבה תכונות קלט דלילות. אנחנו קוראים לו 'רחב' כי מודל כזה הוא סוג מיוחד של רשת עצבית עם מספר גדול של קלטים שמחוברים ישירות לצומת הפלט. לעתים קרובות קל יותר לנפות באגים במודלים רחבים ולבדוק אותם מאשר במודלים עמוקים. אמנם מודלים רחבים לא יכולים לבטא אי-ליניאריות באמצעות שכבות מוסתרות, אבל הם יכולים להשתמש בטרנספורמציות כמו שילוב מאפיינים וחלוקה לקטגוריות כדי ליצור מודלים של אי-ליניאריות בדרכים שונות.

ההבדל בינו לבין מודל עמוק.

רוחב

מספר הנוירונים בשכבה מסוימת של רשת נוירונים.

חוכמת ההמונים

#df

הרעיון שלפיו חישוב ממוצע של דעות או הערכות של קבוצה גדולה של אנשים ("הקהל") מניב לעיתים קרובות תוצאות טובות באופן מפתיע. לדוגמה, נניח שמשחקים משחק שבו אנשים מנסים לנחש כמה סוכריות ג'לי יש בצנצנת גדולה. למרות שרוב הניחושים האישיים לא יהיו מדויקים, הוכח אמפירית שהממוצע של כל הניחושים קרוב באופן מפתיע למספר האמיתי של סוכריות הג'לי בצנצנת.

מודלים משולבים הם מקבילה בתוכנה לחוכמת ההמונים. גם אם מודלים בודדים יוצרים תחזיות לא מדויקות, ממוצע התחזיות של הרבה מודלים יוצר לעיתים קרובות תחזיות טובות באופן מפתיע. לדוגמה, יכול להיות שעץ החלטה יפיק תחזיות לא טובות, אבל יער החלטה לרוב יפיק תחזיות טובות מאוד.

הטמעת מילה

#language

ייצוג כל מילה בקבוצת מילים בווקטור הטמעה, כלומר ייצוג כל מילה כווקטור של ערכים עשרוניים בין 0.0 ל-1.0. מילים עם משמעויות דומות מקבלות ייצוגים דומים יותר מאשר מילים עם משמעויות שונות. לדוגמה, הייצוגים של גזר, סלרי ומלפפון יהיו דומים יחסית, ושונים מאוד מהייצוגים של מטוס, משקפי שמש ומשחת שיניים.

X

XLA (אלגברה לינארית מואצת)

קומפיילר ללמידת מכונה בקוד פתוח למעבדי GPU, מעבדי CPU ומאיצי למידת מכונה.

הקומפיילר XLA לוקח מודלים ממסגרות פופולריות של למידת מכונה כמו PyTorch,‏ TensorFlow ו-JAX, ומבצע אופטימיזציה שלהם לביצועים גבוהים בפלטפורמות חומרה שונות, כולל מעבדי GPU, מעבדי CPU ומאיצי למידת מכונה.

Z

למידה ללא דוגמאות

סוג של אימון למידת מכונה שבו המודל מסיק תחזית למשימה שהוא לא אומן ספציפית לבצע. במילים אחרות, המודל לא מקבל דוגמאות לאימון ספציפי למשימה, אבל מתבקש לבצע הסקת מסקנות לגבי אותה משימה.

הנחיה ישירה (Zero-shot)

#language

#generativeAI

הנחיה שלא כוללת דוגמה לאופן שבו מודל שפה גדול צריך להגיב. לדוגמה:

החלקים של הנחיה	הערות
מהו המטבע הרשמי של המדינה שצוינה?	השאלה שרוצים שה-LLM יענה עליה.
הודו:	השאילתה בפועל.

מודל השפה הגדול עשוי להגיב באחת מהדרכים הבאות:

• רופיות
• INR
• ₹
• רופי הודי
• רופי
• רופי הודי

כל התשובות נכונות, אבל יכול להיות שתעדיפו פורמט מסוים.

השוואה וניגוד בין הנחיות ללא דוגמאות לבין המונחים הבאים:

• מתן הנחיות בשיטת one-shot
• מתן הנחיות עם כמה דוגמאות

נורמליזציה של ציון תקן

#fundamentals

טכניקת קנה מידה שמחליפה ערך גולמי של מאפיין בערך נקודה צפה שמייצג את מספר סטיות התקן מהממוצע של המאפיין הזה. לדוגמה, נניח שיש תכונה שהממוצע שלה הוא 800 וסטיית התקן שלה היא 100. בטבלה הבאה מוצגת דוגמה למיפוי של ערך גולמי לציון Z שלו באמצעות נורמליזציה של ציון Z:

ערך גולמי	ציון תקן
800	0
950	‫+1.5
575	‫‎-2.25

לאחר מכן, המודל של למידת המכונה מתאמן על ציוני ה-Z של התכונה במקום על הערכים הגולמיים.

מידע נוסף זמין במאמר נתונים מספריים: נורמליזציה בסדנה ללימוד מכונת למידה.

המילון הזה מגדיר מונחים שקשורים ללמידת מכונה.

יש לך שאלות לגבי המילון הזה?

תשובות לכל השאלות.

A