ייתכן שחלק מהתכונות הן ערכים נפרדים שאינם קשורים זה לזה בסדר. לדוגמה, גזעים של כלבים, מילים או מספרי מיקוד. התכונות האלה נקראות סיווגים וכל ערך נקרא קטגוריה. תוכלו לייצג ערכים קטגורית כמחרוזות או אפילו כמספרים, אבל לא תוכלו להשוות את המספרים האלה או להחסיר אותם אחד מהשני.
לעיתים קרובות כדאי לייצג תכונות שמכילות ערכים שלמים כמספרים קטגוריים, במקום נתונים מספריים. לדוגמה, אפשר להשתמש בתכונת מיקוד שבה הערכים הם מספרים שלמים. אם אתם מייצגים בטעות את התכונה הזו, אתם מבקשים מהמודל למצוא קשר מספרי בין מספרי מיקוד שונים. לדוגמה, אתם מצפים שהמודל יקבע שמיקוד 20004 כפול (או חצי) מהאות כמיקוד 10002. ייצוג מיקודים כקטגוריה של נתונים מאפשר למודל למצוא אותות נפרדים לכל מיקוד.
אם מספר הקטגוריות של שדה נתונים קטן, כמו היום בשבוע או לוח צבעים מוגבל, תוכלו ליצור תכונה ייחודית לכל קטגוריה. למשל:
איור 1: תכונה ייחודית לכל קטגוריה.
לאחר מכן, מודל יכול ללמוד משקל נפרד לכל צבע. לדוגמה, ייתכן שהדגם יוכל לדעת שמכוניות אדומות יקרות יותר ממכוניות ירוקות.
לאחר מכן ניתן להוסיף את התכונות לאינדקס.
איור 2: תכונות שנוספו לאינדקס.
מיפוי כזה נקרא אוצר מילים.
אוצר מילים
באוצר מילים, כל ערך מייצג תכונה ייחודית.
Index Number | Category |
|---|---|
0 | Red |
1 | Orange |
2 | Blue |
... | ... |
המודל מחפש את האינדקס מהמחרוזת, ומקצה את הערך 1.0 למשבצת המתאימה וקטור התכונות ו-0.0 לכל שאר המיקומים בווקטור התכונה.
איור 3: התהליך מקצה לקצה שבו מתבצע מיפוי של קטגוריות במטרה להציג וקטורים.
הערה לגבי ייצוג דליל
אם הקטגוריות שלכם הן ימות השבוע, לדוגמה, אתם יכולים לייצג את יום שישי עם וקטור התכונות [0, 0, 0, 0, 1, 0, 0]. עם זאת, רוב ההטמעות של מערכות למידת מכונה ייצגו את הוקטור הזה בזיכרון באמצעות ייצוג דליל מאוד. ייצוג נפוץ הוא רשימה של ערכים שאינם ריקים והאינדקסים המקבילים שלהם. לדוגמה, 1.0 לערך ו-[4] לאינדקס. כך תוכלו לחסוך פחות זיכרון ולאחסן כמות עצומה של 0. בנוסף, תוכלו להכפיל יותר את המטריצה. במונחים של מתמטיקה בסיסית, [4] הוא שווה ערך ל-[0, 0, 0, 0, 1, 0, 0].
מחוץ לווקאב (OOV)
בדיוק כמו נתונים מספריים מכילים ערכים חריגים, גם נתונים קטגוריים כוללים. לדוגמה, נניח קבוצת נתונים שמכילה תיאורים של מכוניות. אחת מהתכונות של קבוצת הנתונים הזו יכולה להיות צבע הרכב. נניח שצבעי הרכב הנפוצים (שחור, לבן, אפור וכו') מיוצגים היטב בקבוצת נתונים זו, כאשר כל אחד מהם מסווג בקטגוריה מסוימת, כדי שתוכלו להבין כיצד הצבעים השונים משפיעים על הערך. עם זאת, נניח שמערך הנתונים הזה כולל מספר קטן של מכוניות עם צבעים אקראיים (Muve, Pust, Avocado). במקום לתת לכל אחד מהצבעים האלה קטגוריה נפרדת, אפשר לקבץ אותם לקטגוריה 'הכול כלול' שנקראת מחוץ לווק (OOV). כשמשתמשים בפורמט OOV, המערכת לא מבזבזת זמן על כל אחד מהצבעים האלו.
גיבוב (hashing)
אפשרות נוספת היא לבצע גיבוב (hash) של כל מחרוזת (קטגוריה) למרחב האינדקס הזמין. גיבוב (hash) גורם לעיתים קרובות להתנגשויות, אבל אתם מסתמכים על המודל כדי ללמוד על ייצוג משותף של הקטגוריות באותו אינדקס שמתאים לצרכים שלכם.
במונחים חשובים, הגיבוב יכול להיות גרוע יותר מבחירת אוצר מילים, עקב התנגשויות. מצד שני, הגיבוב לא מחייב אתכם להרכיב אוצר מילים, וזה יתרון אם התפלגות התכונות משתנה לאורך זמן.
איור 4: מיפוי פריטים לאוצר מילים.
היברידי וגיבוב (hashing) ואוצר מילים
אפשר להשתמש בגישה היברידית ולשלב את הגיבוב בעזרת אוצר מילים. השתמשו באוצר מילים עבור הקטגוריות החשובות ביותר בנתונים שלכם, אך החליפו את קטגוריית ה-OOV במספר קטגוריות OOV והשתמשו בגיבוב כדי להקצות קטגוריות לקטגוריות.
הקטגוריות בקטגוריות ה-hash צריכות לשתף אינדקס, וסביר להניח שהמודל לא יניב חיזויים טובים, אבל הקדשנו זיכרון מסוים כדי לנסות ללמוד את הקטגוריות מחוץ לאוצר המילים שלנו.
איור 5: גישה היברידית שמשלבת אוצר מילים וגיבוב.
הערה על הטמעות
חשוב לזכור שקורס הקריסה של הלמידה החישובית הוא שהטמעה היא תכונה חד-משמעית שמיוצגת כתכונה שיש בה ערך מתמשך. המודלים העמוקים ממירים לעיתים קרובות את האינדקסים לאינדקס.
איור 6: וקטורים של תכונות מעטות יותר דרך הטמעה
אפשר לשמור את הטרנספורמציות האחרות שדיברנו עליהן, אבל ההטמעה היא שונה. מכיוון שהטמעת נתונים היא אימון, לא מדובר בטרנספורמציה אופיינית של נתונים — הם חלק מהמודל. הן מאומנות במשקלים אחרים של מודל, והן מקבילות לשכבה של משקלים.
מה בנוגע להטמעות מוגדרות מראש? בדרך כלל עדיין אפשר לשנות הטמעות מוגדרות מראש במהלך האימון, כך שהן עדיין כלולות במודל.