בעזרת ה-API לזיהוי אובייקטים ולמעקב אחר אובייקטים במכשיר של ML Kit, אפשר לזהות אובייקטים ולעקוב אחריהם בתמונות או בפיד מצלמה בשידור חי.
אפשר לסווג אובייקטים שזוהו באמצעות סיווג גס שמובנה ב-API או באמצעות מודל משלכם לסיווג תמונות, בהתאמה אישית. למידע נוסף, ראו שימוש במודל TensorFlow Lite בהתאמה אישית.
מכיוון שזיהוי האובייקטים והמעקב מתרחשים במכשיר, הם פועלים היטב גם בממשק הקצה של צינור עיבוד הנתונים של החיפוש החזותי. אחרי שמזהים ומסננים אובייקטים, אפשר להעביר אותם לקצה העורפי בענן, למשל Cloud Vision Product Search.
יכולות עיקריות
- זיהוי ומעקב מהירים של אובייקטים זיהוי אובייקטים והצגת המיקומים שלהם בתמונה. לעקוב אחרי אובייקטים בפריימים עוקבים של תמונות.
- מודל מותאם במכשיר המודל לזיהוי ולמעקב של אובייקטים מותאם לניידים ומיועד לשימוש באפליקציות בזמן אמת, גם במכשירים פחות מתקדמים.
- זיהוי אובייקטים בולטים זיהוי אוטומטי של האובייקט הבולט ביותר בתמונה.
- סיווג גס סיווג אובייקטים לקטגוריות רחבות, שבהן אפשר להשתמש כדי לסנן אובייקטים שלא מעניינים אתכם. הקטגוריות הבאות נתמכות: מוצרים לבית, אופנה, אוכל, צמחים ומקומות.
- סיווג באמצעות מודל מותאם אישית שימוש במודל משלכם לסיווג תמונות של תמונות כדי לזהות או לסנן קטגוריות ספציפיות של אובייקטים. אפשר לשפר את הביצועים של המודל המותאם אישית על ידי השמטת רקע התמונה.
תוצאות לדוגמה
מעקב אחר האובייקט הבולט ביותר בתמונות
בדוגמה הבאה מוצגים נתוני המעקב משלוש פריימים עוקבים עם המסווג הגס שמוגדר כברירת מחדל דרך ML Kit.
 |
|
||||||||
 |
|
||||||||
 |
|
תמונה: כריסטיאן פרר [CC BY-SA 4.0]
מספר אובייקטים בתמונה סטטית
בדוגמה הבאה מוצגים הנתונים של ארבעת האובייקטים שזוהו בתמונה באמצעות המסווג הגס שמוגדר כברירת מחדל ב-ML Kit.
| אובייקט 0 | |
|---|---|
| גבולות | (1, 97), (332, 97), (332, 332), (1, 332) |
| קטגוריה | FASHION_GOOD |
| רמת המהימנות של הסיווג | 0.95703125 |
| אובייקט 1 | |
| גבולות | (186, 80), (337, 80), (337, 226), (186, 226) |
| קטגוריה | FASHION_GOOD |
| רמת המהימנות של הסיווג | 0.84375 |
| אובייקט 2 | |
| גבולות | (296, 80), (472, 80), (472, 388), (296, 388) |
| קטגוריה | FASHION_GOOD |
| רמת המהימנות של הסיווג | 0.94921875 |
| אובייקט 3 | |
| גבולות | (439, 83), (615, 83), (615, 306), (439, 306) |
| קטגוריה | FASHION_GOOD |
| רמת המהימנות של הסיווג | 0.9375 |
שימוש במודל TensorFlow Lite בהתאמה אישית
המסווג הגס, המוגדר כברירת מחדל, בנוי לחמש קטגוריות, ומספק מידע מוגבל על האובייקטים שזוהו. יכול להיות שתצטרכו מודל סיווג מיוחד יותר שעוסק בדומיין מצומצם יותר של מושגים. לדוגמה, מודל להבחנה בין מיני פרחים או סוגי מזון שונים.
ה-API הזה מאפשר לכם להתאים אישית את התרחיש לדוגמה על ידי תמיכה במודלים לסיווג תמונות בהתאמה אישית ממגוון רחב של מקורות. למידע נוסף, ראו מודלים מותאמים אישית באמצעות ML Kit. את המודלים בהתאמה אישית אפשר להתקין בחבילה עם האפליקציה או להוריד באופן דינמי מהענן באמצעות שירות פריסת המודלים של למידת המכונה ב-Firebase.
עיבוד תמונה של קלט
במקרה הצורך, הזיהוי והמעקב אחר אובייקטים משתמשים בשינוי גודל תמונה דו-לינארית ובמתיחה כדי להתאים את הגודל ואת יחס הגובה-רוחב של תמונות הקלט, כך שיתאימו לדרישות של המודל הבסיסי.