קל לארגן דפים בעזרת אוספים אפשר לשמור ולסווג תוכן על סמך ההעדפות שלך.

זיהוי אובייקטים ומעקב

בעזרת ממשק ה-API של Google למעקב אחר אובייקטים ומעקב אחר אובייקטים במכשיר, תוכלו לזהות אובייקטים ולעקוב אחריהם בתמונה או בפיד מצלמה בשידור חי.

אפשר לסווג אובייקטים שזוהו באמצעות סיווג גס מובנה של ה-API או באמצעות מודל מותאם אישית של סיווג תמונות. למידע נוסף, עיינו במאמר שימוש במודל מותאם אישית של TensorFlow Lite.

מכיוון שזיהוי ומעקב אחר אובייקטים מתרחשים במכשיר, הוא פועל היטב גם בחזית של צינור החיפוש החזותי. אחרי זיהוי וסינון של אובייקטים, ניתן להעביר אותם לקצה העורפי בענן, כמו Cloud Vision Product Search.

iOS Android

יכולות עיקריות

  • זיהוי אובייקטים ומעקב אחריהם במהירות זיהוי אובייקטים וקבלת המיקומים שלהם בתמונה. לעקוב אחרי אובייקטים במסגרות תמונה עוקבות.
  • אופטימיזציה של המודל במכשיר המודל לזיהוי ולמעקב אחר אובייקטים מותאם לניידים, והוא מיועד לשימוש באפליקציות בזמן אמת, גם במכשירים פשוטים.
  • זיהוי אובייקט בולט זיהוי אוטומטי של האובייקט הבולט ביותר בתמונה.
  • סיווג גס סיווג אובייקטים לקטגוריות רחבות, שבהן ניתן להשתמש כדי לסנן אובייקטים שלא מעניינים אותך. יש תמיכה בקטגוריות הבאות: מוצרי בית, מוצרי אופנה, מזון, צמחים ומקומות.
  • סיווג עם מודל מותאם אישית השתמשו במודל משלכם של סיווג תמונות מותאם אישית כדי לזהות או לסנן קטגוריות ספציפיות. כדי לשפר את הביצועים של המודל המותאם אישית, מומלץ להשאיר את הרקע של התמונה.

תוצאות לדוגמה

מעקב אחר האובייקט הבולט ביותר בתמונות

בדוגמה הבאה מוצגים נתוני המעקב מ-3 מסגרות עוקבות עם סיווג גס כברירת מחדל שסופק על ידי ML Kit.

מזהה לצורכי מעקב 0
גבולות (95, 45), (496, 45), (496, 240), (95, 240)
קטגוריה מקום
מידת המהימנות של הסיווג 0.9296875
מזהה לצורכי מעקב 0
גבולות (84, 46), (478, 46), (478, 247), (84, 247)
קטגוריה מקום
מידת המהימנות של הסיווג 0.8710938
מזהה לצורכי מעקב 0
גבולות (53, 45), (519, 45), (519, 240), (53, 240).
קטגוריה מקום
מידת המהימנות של הסיווג 0.8828125

תמונה: כריסטיאן פרר [CC BY-SA 4.0]

מספר אובייקטים בתמונה סטטית

הדוגמה הבאה מציגה את הנתונים של ארבעת האובייקטים שזוהו בתמונה עם ברירת המחדל של סיווג גס שסופק על ידי ML Kit.

אובייקט 0
גבולות (1, 97), (332, 97), (332, 332), (1, 332)
קטגוריה אופנה
מידת המהימנות של הסיווג 0.95703125
אובייקט 1
גבולות (186, 80), (337, 80), (337, 226), (186, 226)
קטגוריה אופנה
מידת המהימנות של הסיווג 0.84375
אובייקט 2
גבולות (296, 80), (472, 80), (472, 388), (296, 388)
קטגוריה אופנה
מידת המהימנות של הסיווג 0.94921875
אובייקט 3
גבולות (439, 83), (615, 83), (615, 306), (439, 306).
קטגוריה אופנה
מידת המהימנות של הסיווג 0.9375

שימוש במודל מותאם אישית של TensorFlow Lite

סיווג ברירת המחדל הגס מיועד לחמש קטגוריות, המספק מידע מוגבל על האובייקטים שזוהו. יכול להיות שתצטרכו מודל ספציפי יותר של מסווג, שמכסה יותר מדי דומיינים של מושגים. לדוגמה, מודל שיאפשר להבחין בין מיני פרחים או סוגים של מזון.

ה-API הזה מאפשר תמיכה במודלים מותאמים אישית של סיווג תמונות ממגוון רחב של מקורות, כדי להתאים את השימוש שלכם לצרכים ספציפיים. מידע נוסף מפורט במאמר מודלים בהתאמה אישית עם ערכת למידת מכונה. את המודלים בהתאמה אישית אפשר לקבץ עם האפליקציה או להוריד אותה באופן דינמי מהענן באמצעות שירות פריסת המודלים של Firebase ללמידה חישובית.

iOS Android

עיבוד מראש של תמונת קלט

במידת הצורך, הזיהוי והמעקב של האובייקטים משתמשים בהתאמת תמונות ובירליות של תמונות, כדי להתאים את הגודל והיחס גובה-רוחב של תמונות הקלט כך שיתאימו לדרישות של המודל הבסיסי.