הטמעה היא שטח קטן יחסית שבו אפשר לתרגם וקטורים בעלי מאפיינים גבוהים. הטמעות מקלות על הלמידה החישובית על קלט גדול, כמו וקטורים דלילה המייצגים מילים. באופן אידיאלי, הטמעה מתעדת חלק מהסמנטיקה של הקלט על ידי הצבת קלט דומה מבחינה סמנטית זה לצד זה. תוכלו ללמוד הטמעה חוזרת ולהשתמש בה בכל המודלים.
הטמעות
מוטיבציה באמצעות סינון שיתופי
- קלט: 1,000,000 סרטים ש-500,000 משתמשים בחרו לצפות בהם
- משימה:המלצה על סרטים למשתמשים
כדי לפתור את הבעיה, נדרשת שיטה כלשהי כדי לקבוע אילו סרטים דומים זה לזה.
ארגון סרטים לפי דמיון (יום אחד)
ארגון סרטים לפי דמיון (2d)
הטמעה דו-מימדית
הטמעה דו-מימדית
הטמעות דו-מימדיות
- מניחים שתחומי העניין של משתמשים בסרטים יכולים להיות מוסברים פחות או יותר על ידי היבטים
- כל סרט הופך לנקודה דו-מימדית שבה הערך במאפיין ד' מייצג את מידת ההתאמה של הסרט להיבט הזה
- ניתן ללמוד הטמעות מנתונים
הטמעות ברשת ברשת עומק
- אין צורך בתהליך הדרכה נפרד – שכבת ההטמעה היא רק שכבה נסתרת עם יחידה אחת לכל מאפיין
- נתונים בפיקוח (למשל, משתמשים שצפו באותם שני סרטים) מתאימים את ההטמעה המוטמעת של המשימה הרצויה
- המערכות האינטואיטיביות שלנו מלמדות איך לארגן את הפריטים במרחב בתלת-ממד כדי לבצע אופטימיזציה אופטימלית של היעד הסופי.
ייצוג קלט
- כל דוגמה (שורה במטריצה הזו) היא וקטור דל של תכונות (סרטים) שהמשתמש צפה בהם
- ייצוג צפוף של הדוגמה הזו: (0, 1, 0, 1, 0, 0, 0, 1)
לא יעיל במונחים של שטח וזמן.
ייצוג קלט
- בניית מילון הממפה כל תכונה למספר שלם מ-0, ..., # סרטים - 1
- ייצוג יעיל של הווקטור הצנוע כסרט שבו המשתמש צפה. יכול להיות שמדובר בסמל:
שכבת הטמעה ברשת עמוקה
בעיה רגרסית בחיזוי מחירי המכירה בבית:
שכבת הטמעה ברשת עמוקה
בעיה רגרסית בחיזוי מחירי המכירה בבית:
שכבת הטמעה ברשת עמוקה
בעיה רגרסית בחיזוי מחירי המכירה בבית:
שכבת הטמעה ברשת עמוקה
בעיה רגרסית בחיזוי מחירי המכירה בבית:
שכבת הטמעה ברשת עמוקה
בעיה רגרסית בחיזוי מחירי המכירה בבית:
שכבת הטמעה ברשת עמוקה
בעיה רגרסית בחיזוי מחירי המכירה בבית:
שכבת הטמעה ברשת עמוקה
סיווג מרובה קטגוריות כדי לחזות ספר בכתב יד:
שכבת הטמעה ברשת עמוקה
סיווג מרובה קטגוריות כדי לחזות ספר בכתב יד:
שכבת הטמעה ברשת עמוקה
סיווג מרובה קטגוריות כדי לחזות ספר בכתב יד:
שכבת הטמעה ברשת עמוקה
סיווג מרובה קטגוריות כדי לחזות ספר בכתב יד:
שכבת הטמעה ברשת עמוקה
סיווג מרובה קטגוריות כדי לחזות ספר בכתב יד:
שכבת הטמעה ברשת עמוקה
סיווג מרובה קטגוריות כדי לחזות ספר בכתב יד:
שכבת הטמעה ברשת עמוקה
סיווג מרובה קטגוריות כדי לחזות ספר בכתב יד:
שכבת הטמעה ברשת עמוקה
סינון שיתופי לחיזוי סרטים מומלצים:
שכבת הטמעה ברשת עמוקה
סינון שיתופי לחיזוי סרטים מומלצים:
שכבת הטמעה ברשת עמוקה
סינון שיתופי לחיזוי סרטים מומלצים:
שכבת הטמעה ברשת עמוקה
סינון שיתופי לחיזוי סרטים מומלצים:
שכבת הטמעה ברשת עמוקה
סינון שיתופי לחיזוי סרטים מומלצים:
שכבת הטמעה ברשת עמוקה
סינון שיתופי לחיזוי סרטים מומלצים:
שכבת הטמעה ברשת עמוקה
סינון שיתופי לחיזוי סרטים מומלצים:
תכתובת לתצוגה גיאומטרית
רשת עומק
- כל אחת מהיחידות המוסתרות תואמת למאפיין (תכונה מוסתרת)
- משקולות הקצה בין סרט לשכבה נסתרת הן ערכי קואורדינטות
תצוגה גיאומטרית של הטמעת סרט יחיד
בחירת מספר הטמעות העמעום
- הטמעות במימד גבוה יותר יכולות לייצג בצורה מדויקת יותר את הקשרים בין ערכי הקלט
- אבל ככל שיש יותר מאפיינים, כך גובר הסיכוי להיבנות ואימוני כושר איטיים יותר
- כלל טכני של תמונה ממוזערת (נקודת התחלה טובה, אך יש לשפר את הנתונים באמצעות נתוני האימות): $$ dimensions \approx \sqrt[4]{possible\;values} $$
הטמעות ככלי
- הטמעת פריטי מפה (למשל סרטים, טקסט,...) לווקטורים אמיתיים בעלי מימדים נמוכים באופן שבו פריטים דומים קרובים זה לזה
- ניתן גם להטמיע נתונים על נתונים צפופים (למשל, אודיו) כדי ליצור מדד משמעותי דומה
- הטמעה משותפת של מגוון סוגי נתונים (למשל טקסט, תמונות, אודיו וכו') מגדירה דמיון ביניהם