בעזרת ה-API של Google למעקב אחר אובייקטים ומעקב במכשיר, אפשר לזהות אובייקטים בפיד תמונות או במצלמה בשידור חי ולעקוב אחריהם.
תוכלו גם לסווג אובייקטים מזוהים באמצעות ה-גסות המובנית ב-API או באמצעות מודל משלכם לסיווג תמונות בהתאמה אישית. מידע נוסף זמין במאמר שימוש במודל מותאם אישית של TensorFlow Lite.
מכיוון שהזיהוי והמעקב אחר אובייקטים מתרחשים במכשיר, הוא פועל היטב גם על הקצה הקדמי של צינור החיפוש החזותי. אחרי זיהוי וסינון של אובייקטים, אפשר להעביר אותם לקצה עורפי בענן, כמו Cloud Vision Product Search.
יכולות עיקריות
- איתור אובייקטים ומעקב אחריהם במהירות זיהוי אובייקטים וקבלת המיקומים שלהם בתמונה. עוקבים אחרי אובייקטים במסגרות של תמונות עוקבות.
- אופטימיזציה של המודל במכשיר מודל הזיהוי והמעקב אחר אובייקטים מותאם למכשירים ניידים, והוא מיועד לשימוש באפליקציות בזמן אמת, גם במכשירים מתקדמים.
- זיהוי אובייקט בולט זיהוי אוטומטי של האובייקט הבולט ביותר בתמונה.
- סיווג משוער סיווג של אובייקטים לקטגוריות רחבות, שבהן ניתן להשתמש כדי לסנן אובייקטים שלא מעניינים אתכם. הקטגוריות הבאות נתמכות: מוצרים לבית, מוצרי אופנה, מזון, צמחים ומקומות.
- סיווג עם מודל מותאם אישית השתמשו במודל משלכם לסיווג תמונות כדי לזהות או לסנן קטגוריות ספציפיות עם אובייקטים. כדי לשפר את הביצועים של המודל המותאם אישית, מומלץ לא לשנות את הרקע שלו.
תוצאות לדוגמה
מעקב אחר האובייקט הבולט ביותר בכל התמונות
בדוגמה הבאה מוצגים נתוני המעקב מ-3 מסגרות עוקבות עם המסווג המשוער בברירת מחדל שסופק על ידי ערכת ה-ML.
 |
|
||||||||
 |
|
||||||||
 |
|
תמונה: כריסטיאן פרר [CC BY-SA 4.0]
מספר אובייקטים בתמונה סטטית
בדוגמה הבאה מוצגים הנתונים של ארבעת האובייקטים שזוהו בתמונה באמצעות המסווג בגסות שהוגדר כברירת מחדל בערכת ה-ML.
| אובייקט 0 | |
|---|---|
| גבולות | (1, 97), (332, 97), (332, 332), (1, 332) |
| קטגוריה | אופנה |
| מידת המהימנות של הסיווג | 0.95703125 |
| אובייקט 1 | |
| גבולות | (186, 80), (337, 80), (337, 226), (186, 226) |
| קטגוריה | אופנה |
| מידת המהימנות של הסיווג | 0.84375 |
| אובייקט 2 | |
| גבולות | (296, 80), (472, 80), (472, 388), (296, 388) |
| קטגוריה | אופנה |
| מידת המהימנות של הסיווג | 0.94921875 |
| אובייקט 3 | |
| גבולות | (439, 83), (615, 83), (615, 306), (439, 306) |
| קטגוריה | אופנה |
| מידת המהימנות של הסיווג | 0.9375 |
באמצעות מודל מותאם אישית של TensorFlow Lite
כלי הסיווג הגס המוגדר כברירת מחדל מיועד לחמש קטגוריות, ומספק מידע מוגבל על האובייקטים שזוהו. יכול להיות שתצטרכו מודל ספציפי יותר של סיווג, שמכסה דומיין צר יותר של קונספטים בפירוט רב יותר. לדוגמה, מודל שמבדיל בין סוגים שונים של פרחים או סוגי מזון.
ה-API הזה מאפשר ליצור מודלים מותאמים אישית לסיווג תמונות ממגוון רחב של מקורות, וכך הוא מתאים במיוחד לצרכים ספציפיים. מידע נוסף מפורט במאמר מודלים בהתאמה אישית עם ערכת למידת מכונה. אתם יכולים ליצור מודלים מותאמים אישית באפליקציה או להוריד אותם באופן דינמי מהענן, באמצעות שירות פריסת המודלים של Firebase ללמידת מכונה.
עיבוד מראש של תמונת קלט
במקרה הצורך, זיהוי ואובייקטים של אובייקטים משתמשים בהתאמת תמונות בינארית ובמתיחה, כדי להתאים את גודל התמונה ויחס הגובה-רוחב של הקלט כך שיתאימו לדרישות של המודל הבסיסי.