בעזרת ה-API לזיהוי אובייקטים ולמעקב אחרי אובייקטים במכשיר של ML Kit, אתם יכולים לזהות ולעקוב אחרי אובייקטים בתמונה או בפיד המצלמה.
אפשר גם לסווג את האובייקטים שזוהו, באמצעות המסווג הגס שמוטמע ב-API, או באמצעות מודל משלכם לסיווג תמונות בהתאמה אישית. מידע נוסף מופיע במאמר בנושא שימוש במודל LiteRT מותאם אישית.
מכיוון שזיהוי ומעקב אחר אובייקטים מתבצעים במכשיר, הם מתאימים כחלק הקדמי של צינור העיבוד של החיפוש החזותי. אחרי שמזהים ומסננים אובייקטים, אפשר להעביר אותם לחלק האחורי בענן, כמו Cloud Vision Product Search.
יכולות עיקריות
- זיהוי ומעקב מהירים של אובייקטים זיהוי אובייקטים וקבלת המיקום שלהם בתמונה. מעקב אחרי אובייקטים במסגרות תמונה עוקבות.
- מודל מותאם במכשיר מודל זיהוי ומעקב האובייקטים מותאם למכשירים ניידים ומיועד לשימוש באפליקציות בזמן אמת, גם במכשירים בסיסיים.
- זיהוי אובייקטים בולטים קביעה אוטומטית של האובייקט הבולט ביותר בתמונה.
- סיווג גס סיווג אובייקטים לקטגוריות רחבות, שבהן אפשר להשתמש כדי לסנן אובייקטים שלא מעניינים אתכם. הקטגוריות הבאות נתמכות: מוצרים לבית, מוצרי אופנה, מזון, צמחים ומקומות.
- סיווג באמצעות מודל בהתאמה אישית אתם יכולים להשתמש במודל משלכם לסיווג תמונות כדי לזהות או לסנן קטגוריות ספציפיות של אובייקטים. כדי לשפר את הביצועים של המודל בהתאמה אישית, כדאי להשמיט את הרקע של התמונה.
תוצאות לדוגמה
מעקב אחרי האובייקט הבולט ביותר בתמונות
בדוגמה הבאה מוצגים נתוני המעקב משלושה פריימים עוקבים עם המסווג הגס שמוגדר כברירת מחדל ב-ML Kit.
 |
|
||||||||
 |
|
||||||||
 |
|
תמונה: Christian Ferrer [CC BY-SA 4.0]
כמה אובייקטים בתמונה סטטית
בדוגמה הבאה מוצגים הנתונים של ארבעת האובייקטים שזוהו בתמונה באמצעות המסווג הגס שמוגדר כברירת מחדל ב-ML Kit.
| אובייקט 0 | |
|---|---|
| Bounds | (1, 97), (332, 97), (332, 332), (1, 332) |
| קטגוריה | FASHION_GOOD |
| רמת הסמך של הסיווג | 0.95703125 |
| אובייקט 1 | |
| Bounds | (186, 80), (337, 80), (337, 226), (186, 226) |
| קטגוריה | FASHION_GOOD |
| רמת הסמך של הסיווג | 0.84375 |
| אובייקט 2 | |
| Bounds | (296, 80), (472, 80), (472, 388), (296, 388) |
| קטגוריה | FASHION_GOOD |
| רמת הסמך של הסיווג | 0.94921875 |
| אובייקט 3 | |
| Bounds | (439, 83), (615, 83), (615, 306), (439, 306) |
| קטגוריה | FASHION_GOOD |
| רמת הסמך של הסיווג | 0.9375 |
שימוש במודל LiteRT מותאם אישית
המסווג הגס שמוגדר כברירת מחדל מיועד לחמש קטגוריות, ומספק מידע מוגבל על האובייקטים שזוהו. יכול להיות שתצטרכו מודל מסוים יותר של מסווג שמכסה תחום צר יותר של מושגים בפירוט רב יותר. לדוגמה, מודל להבחנה בין מיני פרחים או בין סוגי מזון.
ה-API הזה מאפשר לכם להתאים את המודלים לתרחיש שימוש ספציפי, כי הוא תומך במודלים מותאמים אישית לסיווג תמונות ממגוון רחב של מקורות. מידע נוסף מופיע במאמר בנושא מודלים מותאמים אישית עם ML Kit. אפשר לצרף מודלים בהתאמה אישית לאפליקציה או להוריד אותם באופן דינמי מ-Cloud Storage.
עיבוד מקדים של תמונת הקלט
במקרה הצורך, זיהוי אובייקטים ומעקב משתמשים בהגדלה דו-ליניארית של תמונה ובהרחבה כדי להתאים את גודל התמונה ואת יחס הגובה-רוחב של תמונת הקלט לדרישות של המודל הבסיסי.