כשמשתמשים בגישה ישירה למודל עם Gemini Nano, חשוב מאוד לוודא שההנחיה איכותית ואמינה.
כדי להעריך את איכות ההנחיה, צריך לפתח קבוצה מקיפה של קלטים ופלטים צפויים לתרחיש לדוגמה.
כדי לבדוק אם ההנחיה עומדת בדרישות האיכות שלכם בכל גרסה של מודל Gemini Nano, מומלץ להשתמש בתהליך העבודה הבא:
- מריצים את מערך הנתונים להערכה ומתעדים את הפלט.
- מעריכים את התוצאות באופן ידני או באמצעות LLM-as-a-judge.
- אם ההערכה לא עומדת ברף האיכות שלכם, שנו את ההנחיה. לדוגמה, אפשר לבקש מ-LLM חזק יותר כמו Gemini Pro לשפר את ההנחיה על סמך הפלט הרצוי לעומת הפלט בפועל.
הנדסת פרומפטים משפרת את הביצועים של המשימות, וחשוב מאוד לחזור על הפרומפטים. מומלץ לחזור על השלבים שלמעלה לפחות 3-5 פעמים. חשוב לזכור שלגישה הזו יש מגבלות, כי בסופו של דבר האופטימיזציות יניבו תשואות פוחתות.
לחלופין, כדי לשפר הנחיות במהירות ובקנה מידה נרחב, אתם יכולים להשתמש בכלי לאופטימיזציה מבוססת-נתונים, שיכול לטרגט מודלים במכשיר כמו gemma-3n-e4b-it.
בטיחות
כדי להבטיח ש-Gemini Nano יחזיר למשתמשים תוצאות בטוחות, יש כמה שכבות של הגנה שמגבילות תוצאות מזיקות או לא מכוונות:
- בטיחות מובנית במודל: כל המודלים של Gemini, כולל Gemini Nano, מאומנים להיות מודעים לבטיחות כבר מההתחלה. זה אומר ששיקולי הבטיחות מוטמעים בליבת המודל, ולא רק מתווספים כתוצר לוואי מאוחר יותר.
- מסנני בטיחות לקלט ולפלט: גם הנחיית הקלט וגם התוצאות שנוצרות על ידי סביבת זמן הריצה של Gemini Nano נבדקות באמצעות מסנני הבטיחות שלנו לפני שהתוצאות מוצגות באפליקציה. כך אפשר למנוע הצגה של תוכן לא בטוח, בלי לפגוע באיכות.
עם זאת, לכל אפליקציה יש קריטריונים משלה למה שנחשב תוכן בטוח למשתמשים, לכן כדאי להעריך את סיכוני הבטיחות בתרחיש לדוגמה הספציפי של האפליקציה ולבדוק בהתאם.
מקורות מידע נוספים
- עד כמה ה-AI שלכם טוב? Gen AI evaluation at every stage, explained – פוסט בבלוג שמסביר איך משתמשים בשירות ההערכה של Gen AI.
- סקירה כללית על שירות הערכה ל-AI גנרטיבי – מסמך שמתאר איך להעריך מודלים של AI גנרטיבי כדי לתמוך במשימות כמו השוואת מודלים, שיפור הנחיות וכוונון.
- הפעלת צינור עיבוד נתונים להערכה שמבוססת על חישוב – מסמך שמסביר איך להעריך את ביצועי המודל.