כדי להכין את צינורות ה-ML שלכם לייצור, אתם צריכים לבצע את הפעולות הבאות:
- הקצאת משאבי מחשוב לצינורות
- הטמעה של רישום ביומן, מעקב והתראות
הקצאת משאבי מחשוב
כדי להריץ צינורות של ML, צריך משאבי מחשוב כמו RAM, מעבדי CPU ומעבדי GPU או TPU. בלי כוח מחשוב מספיק, אי אפשר להפעיל את צינורות הנתונים. לכן, חשוב לוודא שיש לכם מכסה מספיקה להקצאת המשאבים שצינורות עיבוד הנתונים צריכים כדי לפעול בסביבת הייצור.
צינורות להצגה, לאימון ולאימות. הצינורות האלה דורשים TPU, GPU או CPU. בהתאם לתרחיש השימוש, יכול להיות שתאמנו את המודל ותפעילו אותו על חומרה שונה, או שתשתמשו באותה חומרה. לדוגמה, יכול להיות שהאימון יתבצע במעבדי CPU אבל ההפעלה תתבצע במעבדי TPU, או להיפך. באופן כללי, נהוג לאמן את המודל על חומרה גדולה יותר ואז להפעיל אותו על חומרה קטנה יותר.
כשבוחרים חומרה, כדאי להתייחס לנקודות הבאות:
- האם אפשר לאמן את המודל על חומרה פחות יקרה?
- האם מעבר לחומרה אחרת ישפר את הביצועים?
- מה הגודל של המודל ואיזה חומרה תבצע אופטימיזציה של הביצועים שלו?
- איזה חומרה היא אידיאלית על סמך ארכיטקטורת המודל שלך?
צינורות עיבוד נתונים. לצינורות נתונים נדרשת מכסה לזיכרון RAM ולמעבד תצטרכו להעריך כמה מכסת נפח אחסון נדרשת לצינור כדי ליצור מערכי נתונים לאימון ולבדיקה.
יכול להיות שלא תקצו מכסת נפח לכל צינור עיבוד נתונים. במקום זאת, אפשר להקצות מכסת שימוש שצינורות משתפים. במקרים כאלה, צריך לוודא שיש לכם מספיק נפח אחסון להרצת כל צינורות הנתונים, ולהגדיר מעקב והתראות כדי למנוע מצב שבו צינור נתונים אחד שפועל בצורה שגויה ינצל את כל נפח האחסון.
הערכת מכסה
כדי להעריך את המכסה שתצטרכו לצינורות הנתונים והאימון, כדאי לחפש פרויקטים דומים שתוכלו להסתמך עליהם בהערכות שלכם. כדי להעריך את מכסת ההצגה, כדאי לנסות לחזות את מספר השאילתות לשנייה של השירות. השיטות האלה מספקות בסיס. כשמתחילים ליצור אב טיפוס של פתרון במהלך שלב הניסוי, מתחילים לקבל אומדן מדויק יותר של המכסה.
כשמעריכים את המכסה, חשוב לזכור לקחת בחשבון את המכסה לא רק עבור צינורות הייצור, אלא גם עבור ניסויים שמתבצעים באופן שוטף.
בדיקת ההבנה
רישום ביומן, מעקב והתראות
רישום ביומן ומעקב אחרי התנהגות של מודל בייצור הם קריטיים. תשתית חזקה של מעקב מוודאת שהמודלים מספקים תחזיות מהימנות ואיכותיות.
שיטות טובות לרישום ביומן ולמעקב עוזרות לזהות בעיות בצינורות של למידת מכונה באופן יזום ולצמצם את ההשפעה הפוטנציאלית על העסק. אם מתרחשות בעיות, חברי הצוות מקבלים התראות, ויומנים מפורטים עוזרים לאבחן את שורש הבעיה.
כדאי להטמיע רישום ביומן ומעקב כדי לזהות את הבעיות הבאות בצינורות עיבוד נתונים של למידת מכונה:
| צינור עיבוד נתונים | מעקב |
|---|---|
| מוצגת |
|
| נתונים |
|
| הדרכה |
|
| אימות |
|
כדאי גם להגדיר רישום ביומן, מעקב והתראות לגבי הפעולות הבאות:
- זמן אחזור. כמה זמן לוקח לספק חיזוי?
- הפסקות שירות. האם המודל הפסיק לספק תחזיות?
בדיקת ההבנה
פריסת מודל
כדי לפרוס מודל, כדאי לתעד את הפרטים הבאים:
- נדרשים אישורים כדי להתחיל את הפריסה ולהגדיל את ההפצה.
- איך להעביר מודל לסביבת ייצור.
- איפה המודל נפרס, למשל, אם יש סביבות staging או canary.
- מה עושים אם פריסה נכשלת.
- איך מבטלים שינויים במודל שכבר נמצא בסביבת ייצור.
אחרי שמבצעים אוטומציה של אימון המודל, כדאי לבצע אוטומציה של אימות ופריסה. אוטומציה של פריסות מחלקת את האחריות ומפחיתה את הסיכוי שפריסה תיתקע בגלל אדם אחד. בנוסף, הוא מצמצם את הסיכוי לטעויות, משפר את היעילות והמהימנות ומאפשר תורנויות ותמיכה ב-SRE.
בדרך כלל, פורסים מודלים חדשים לקבוצת משנה של משתמשים כדי לוודא שהמודל מתנהג כצפוי. אם כן, ממשיכים בהטמעה. אם לא, מבטלים את הפריסה ומתחילים לאבחן ולנפות את הבעיות.