זיהוי אובייקטים ומעקב אחריהם

קל לארגן דפים בעזרת אוספים אפשר לשמור ולסווג תוכן על סמך ההעדפות שלך.

בעזרת ה-API של Google למעקב אחר אובייקטים ומעקב במכשיר, אפשר לזהות אובייקטים בפיד תמונות או במצלמה בשידור חי ולעקוב אחריהם.

תוכלו גם לסווג אובייקטים מזוהים באמצעות ה-גסות המובנית ב-API או באמצעות מודל משלכם לסיווג תמונות בהתאמה אישית. מידע נוסף זמין במאמר שימוש במודל מותאם אישית של TensorFlow Lite.

מכיוון שהזיהוי והמעקב אחר אובייקטים מתרחשים במכשיר, הוא פועל היטב גם על הקצה הקדמי של צינור החיפוש החזותי. אחרי זיהוי וסינון של אובייקטים, אפשר להעביר אותם לקצה עורפי בענן, כמו Cloud Vision Product Search.

iOS Android

יכולות עיקריות

  • איתור אובייקטים ומעקב אחריהם במהירות זיהוי אובייקטים וקבלת המיקומים שלהם בתמונה. עוקבים אחרי אובייקטים במסגרות של תמונות עוקבות.
  • אופטימיזציה של המודל במכשיר מודל הזיהוי והמעקב אחר אובייקטים מותאם למכשירים ניידים, והוא מיועד לשימוש באפליקציות בזמן אמת, גם במכשירים מתקדמים.
  • זיהוי אובייקט בולט זיהוי אוטומטי של האובייקט הבולט ביותר בתמונה.
  • סיווג משוער סיווג של אובייקטים לקטגוריות רחבות, שבהן ניתן להשתמש כדי לסנן אובייקטים שלא מעניינים אתכם. הקטגוריות הבאות נתמכות: מוצרים לבית, מוצרי אופנה, מזון, צמחים ומקומות.
  • סיווג עם מודל מותאם אישית השתמשו במודל משלכם לסיווג תמונות כדי לזהות או לסנן קטגוריות ספציפיות עם אובייקטים. כדי לשפר את הביצועים של המודל המותאם אישית, מומלץ לא לשנות את הרקע שלו.

תוצאות לדוגמה

מעקב אחר האובייקט הבולט ביותר בכל התמונות

בדוגמה הבאה מוצגים נתוני המעקב מ-3 מסגרות עוקבות עם המסווג המשוער בברירת מחדל שסופק על ידי ערכת ה-ML.

מזהה לצורכי מעקב 0
גבולות (95, 45), (496, 45), (496, 240), (95, 240)
קטגוריה מקום
מידת המהימנות של הסיווג 0.9296875
מזהה לצורכי מעקב 0
גבולות (84, 46), (478, 46), (478, 247), (84, 247)
קטגוריה מקום
מידת המהימנות של הסיווג 0.8710938
מזהה לצורכי מעקב 0
גבולות (53, 45), (519, 45), (519, 240), (53, 240)
קטגוריה מקום
מידת המהימנות של הסיווג 0.8828125

תמונה: כריסטיאן פרר [CC BY-SA 4.0]

מספר אובייקטים בתמונה סטטית

בדוגמה הבאה מוצגים הנתונים של ארבעת האובייקטים שזוהו בתמונה באמצעות המסווג בגסות שהוגדר כברירת מחדל בערכת ה-ML.

אובייקט 0
גבולות (1, 97), (332, 97), (332, 332), (1, 332)
קטגוריה אופנה
מידת המהימנות של הסיווג 0.95703125
אובייקט 1
גבולות (186, 80), (337, 80), (337, 226), (186, 226)
קטגוריה אופנה
מידת המהימנות של הסיווג 0.84375
אובייקט 2
גבולות (296, 80), (472, 80), (472, 388), (296, 388)
קטגוריה אופנה
מידת המהימנות של הסיווג 0.94921875
אובייקט 3
גבולות (439, 83), (615, 83), (615, 306), (439, 306)
קטגוריה אופנה
מידת המהימנות של הסיווג 0.9375

באמצעות מודל מותאם אישית של TensorFlow Lite

כלי הסיווג הגס המוגדר כברירת מחדל מיועד לחמש קטגוריות, ומספק מידע מוגבל על האובייקטים שזוהו. יכול להיות שתצטרכו מודל ספציפי יותר של סיווג, שמכסה דומיין צר יותר של קונספטים בפירוט רב יותר. לדוגמה, מודל שמבדיל בין סוגים שונים של פרחים או סוגי מזון.

ה-API הזה מאפשר ליצור מודלים מותאמים אישית לסיווג תמונות ממגוון רחב של מקורות, וכך הוא מתאים במיוחד לצרכים ספציפיים. מידע נוסף מפורט במאמר מודלים בהתאמה אישית עם ערכת למידת מכונה. אתם יכולים ליצור מודלים מותאמים אישית באפליקציה או להוריד אותם באופן דינמי מהענן, באמצעות שירות פריסת המודלים של Firebase ללמידת מכונה.

iOS Android

עיבוד מראש של תמונת קלט

במקרה הצורך, זיהוי ואובייקטים של אובייקטים משתמשים בהתאמת תמונות בינארית ובמתיחה, כדי להתאים את גודל התמונה ויחס הגובה-רוחב של הקלט כך שיתאימו לדרישות של המודל הבסיסי.