מילון מונחים ללמידה חישובית: מודלים של רצף

הדף הזה מכיל מונחים של מונחי מודל של רצף. לעיון בכל המונחים של מילון המונחים, לחצו כאן.

B

Bigram

#seq

#language

N-gram כאשר N=2.

E

בעיה של שינוי הדרגתי

#seq

הנטייה להבדלים הדרגתיים ברשתות נוירונים עמוקות (במיוחד רשתות נוירונים חוזרות) הופכת לתלולה במיוחד (גבוהה). לרוב, שיפועים תלולים מובילים לעדכונים גדולים מאוד במשקלים של כל הצומת ברשת נוירונים עמוקה.

המודלים שסובלים מבעיה הדרגתית שהופכת לקשה מאוד או שקשה מאוד לאמן אותם. חיתוך הדרגתי יכול למנוע את הבעיה הזו.

מבצעים השוואה בין הבעיות שנעלמות בהדרגתיות.

F

לשכוח את השער

#seq

החלק של תא זיכרון לטווח ארוך שמסדיר את זרימת המידע דרך התא. כדי לשכוח את השערים, עליכם להחליט איזה מידע למחוק ממצב התא.

G

חיתוך הדרגתי

#seq

מנגנון נפוץ לצמצום התפוצצות הבעיה על ידי הגבלה מלאכותית (שינוי) של הערכים המקסימליים של מעברי הצבעים באמצעות ירידה הדרגתית באימון של מודל.

L

זיכרון לטווח קצר (LSTM)

#seq

סוג של תא ברשת נוירונים חוזרת המשמשת לעיבוד רצפים של נתונים באפליקציות כמו זיהוי כתב יד, תרגום מכונה וכתוביות של תמונות. ב-LSTM מתוארת התקלה של סגירה הדרגתית שמתרחשת כשמאמנים RNN בגלל רצפי נתונים ארוכים על ידי שמירת ההיסטוריה במצב זיכרון פנימי על סמך קלט והקשר חדשים מתאים קודמים ב-RNN.

סראונד שמאלי

#seq

קיצור של זיכרון לטווח קצר.

צ'

N-גרם

#seq

#language

רצף מסודר של N מילים. לדוגמה, בטירוף יכול להיות 2 גרם. בגלל שההזמנה היא רלוונטית, באופן מפתיע היא שונה ב-2 גרם מאשר בצורה כועסת.

צ'	שמות לסוג הזה של N-gram	דוגמאות
2	Bigram או 2 גרם	לצאת לדרך, ללכת לאכול, לאכול ארוחת צהריים, לאכול ארוחת ערב
3	trigram או 3 גרם	אוכלים יותר מדי, שלושה עכברים עיוורים, פעמוני האגרה
4	4 גרם	הולכים בפארק, אבק ברוח, ילד אכל עדשים

מודלים רבים של הבנת שפה טבעית (NLP) מסתמכים על N-grams כדי לחזות את המילה הבאה שהמשתמש יקליד או יאמר. לדוגמה, נניח שמשתמש הקליד 3 תריסים. סביר להניח שמודל NLU המבוסס על טריגרים יצפה שהמשתמש יזין את העכברים הבאים.

בניגוד ל-N גרם עם תיק המילים, שהן קבוצות של מילים ללא סדר.

ימין

רשת נוירונים חוזרת

#seq

רשת נוירונים שפועלת במכוון מספר פעמים, כאשר חלקים בכל רשת מריצים את ההפעלה הבאה. באופן ספציפי, שכבות מוסתרות מההפעלה הקודמת מספקות חלק מהקלט לאותה שכבה נסתרת בהפעלה הבאה. רשתות נוירונים חוזרות עוזרות במיוחד להערכת רצפים, כך שהשכבות המוסתרות יכולות ללמוד מהפעלות קודמות של הרשת העצבית בחלקים קודמים של הרצף.

לדוגמה, האיור הבא מציג רשת נוירונים חוזרת שפועלת ארבע פעמים. שימו לב שהערכים שנלמדו בשכבות המוסתרות מההפעלה הראשונה הופכים לחלק מהקלט לאותן שכבות נסתרות בהפעלה השנייה. באופן דומה, הערכים שנצברו בשכבה המוסתרת בהפעלה השנייה הופכים לחלק מהקלט לאותה שכבה נסתרת בהפעלה השלישית. כך, הרשת העצבית החוזרת מכשירה בהדרגה וחוזה את המשמעות של הרצף כולו, ולא רק את המשמעות של מילים בודדות.

RNN

#seq

ראשי תיבות של רשתות נוירונים חוזרות.

S

מודל הרצף

#seq

מודל שהערכים שלו תלויים ברצף. לדוגמה, חיזוי הסרטון הבא שנצפה מרצף של סרטונים שכבר צפיתם בהם.

T

זמן קצוב

#seq

תא אחד שלא הוטמע ברשת נוירונים חוזרת. לדוגמה, האיור הבא מציג שלושה שלבי זמן (מסומנים בתגית המשנה t-1, t ו-t+1):

trigram, טריגרם

#seq

#language

N-gram כאשר N=3.

V

בעיה של מעבר הדרגתי

#seq

הנטייה של השכבות המוסתרות המוקדמות של חלק מהרשתות הנוירוניות העמוקות תהפוך לשקופה באופן מפתיע (נמוכה). ככל ששיעור ההגברה של שיפועים נמוכים יותר, כך הולכים וקורים השינויים הקטנים יותר במשקלים של צמתים ברשת נוירונים עמוקה, וכתוצאה מכך למידה מועטה או ללא למידה בכלל. מודלים שסובלים מבעיה הדרגתית שנעלמה הופכים לקשה או בלתי אפשרי לאימון. תאים מסוג זיכרון לטווח קצר מטפלים בבעיה הזו.

משווים בין פתרון בעיות של מעבר הדרגתי.