כל הכבוד! פרסתם את התחזית של חד-קרן גלובלי. אתם רוצים שהחיזוי יפעל 24x7 בלי גרירה. תוך זמן קצר מבינים במהירות שצריך לעקוב אחר צינור עיבוד הנתונים (ML). המעקב אחר כל הרכיבים שלכם עשוי להיראות מסובך, אבל בואו בוחנים את הדרישות והפתרונות.
בדיקת הטיה להדרכה
המשמעות של 'הטיה להצגת מודעות' היא שנתוני ההבדלים בין נתוני ההכשרה לבין הצגת המנות שונים. בטבלה הבאה מתואר שני סוגי הטיה חשובים:
| סוג | הגדרה | דוגמה | פתרון |
|---|---|---|---|
| הטיה בסכימה | נתוני הקלט של אימון והצגה לא תואמים לאותה סכימה. | הפורמט או ההפצה של נתוני המודעות משתנים בזמן שהמודל ממשיך להתאמן על נתונים ישנים. | השתמשו באותה סכימה כדי לאמת נתוני הדרכה והצגה. צריך לבדוק בנפרד את הנתונים הסטטיסטיים שלא נבדקו על ידי הסכימה, כמו החלק החסר של הערכים החסרים |
| הטיה | יש הבדלים בין נתוני ההנדסה בין ההדרכות לבין ההגשות. | הקוד של הנדסת התכונות משתנה בין ההדרכות לבין ההצגה, שיוצר נתונים הנדסיים שונים. | בדומה להטיה בסכימה, יש להחיל את אותם כללים סטטיסטיים על כל ההדרכות ולהציג את הנתונים של מהנדסי התוכנה. כאן אפשר לעקוב אחר מספר התכונות המעוותות שמוצגות, ואחר היחס בין הדוגמאות להטיה לכל תכונה. |
מעקב אחר דגם המוצר לאורך צינור עיבוד הנתונים
אם נתוני ההצגה מתפתחים עם הזמן, אבל המודל לא מאומן באופן קבוע, תבחינו בירידה באיכות המודל. עקבו אחר הזמן שחלף מאז שהאימון מחדש של האימון מבוסס על נתונים חדשים, והגדיר גיל סף להתראות. בנוסף למעקב אחר גילו של המודל בזמן ההגשה, יש לעקוב אחר גילו של המודל לאורך צינור עיבוד הנתונים.
בודקים שהמשקל והפלט של המודל יציבים מבחינה נומרית
בזמן אימון המודל, המשקולות והפלטים לא יכולים להיות מסוג NaN או Inf. כותבים בדיקות כדי לבדוק את ערכי ה-NN ו-Inf של המשקלים והפלטים של השכבות. כמו כן, יש לבדוק שמחצית מפלט התוצאות של שכבה אינו אפס.
מעקב אחר ביצועי המודל
חיזוי חד-הקרן שלך פופולרי יותר מהצפוי! אתם מקבלים הרבה בקשות חיזוי, וגם נתוני אימון נוספים. אתם חושבים שזה נהדר עד שתבינו שהמודל שלכם צורך יותר ויותר זיכרון וזמן לאימון. אתם מחליטים לעקוב אחר ביצועי המודל באמצעות השלבים הבאים:
- מעקב אחר ביצועי המודל לפי גרסאות של קוד, דגם ונתונים. בעזרת מעקב כזה תוכלו לאתר בדיוק את הסיבה לפגיעה בביצועים.
- בדקו את שלבי האימון לשנייה כדי למצוא גרסה חדשה של המודל בהשוואה לגרסה הקודמת, ולדרישות סף.
- זיהוי דליפות זיכרון על ידי הגדרת סף לשימוש בזיכרון.
- מעקב אחר זמני תגובה של ה-API ומעקב אחר האחוזונים שלהם. ייתכן שזמני התגובה של ה-API לא יהיו בשליטתכם, אבל תגובות איטיות עלולות לגרום למדדים לא טובים בעולם האמיתי.
- מעקב אחר מספר השאילתות שנענו בכל שנייה.
איכות הבדיקה של המודל הפעיל בנתונים המוצגים
ביצעת אימות של המודל שלך. אבל מה קורה אם תרחישים מהעולם האמיתי, כמו חד-קרן, משתנים, לאחר תיעוד נתוני האימות? לאחר מכן, האיכות של המודל המוצג תיפגע. עם זאת, איכות הבדיקה של הצגת המודעות קשה מפני שהנתונים בעולם האמיתי לא תמיד מסומנים. אם נתוני ההגשה שלכם לא מסומנים בתווית, כדאי לבדוק את הבדיקות הבאות:
בדיקת מודלים עם הטיה סטטיסטית משמעותית בחיזויים. עיינו בסיווג: הטיה בחיזוי.
מעקב אחר מדדים אמיתיים של המודל. לדוגמה, אם אתם מסווגים ספאם, השוו את החיזויים שלכם לספאם המדווח על ידי משתמשים.
כדי לצמצם את ההבדלים הפוטנציאליים בין נתוני האימון לבין הצגת הנתונים, כדאי להציג גרסה חדשה של מודל, שעומדת על מספר קטן של שאילתות. כשתאמתו את מודל ההצגה החדש, מחליפים בהדרגה את כל השאילתות לגרסה החדשה.
בעזרת הבדיקות האלה, זכרו לעקוב אחר ירידה פתאומית ואיטית באיכות החיזוי.