תיוג תמונות

בעזרת ממשקי ה-API של ML Kit לתוויות תמונות, אתם יכולים לזהות ולחלץ מידע על ישויות בתמונה במגוון רחב של קטגוריות. מודל ברירת המחדל של תוויות התמונות יכול לזהות אובייקטים כלליים, מקומות, פעילויות, מיני בעלי חיים, מוצרים ועוד.

אפשר גם להשתמש במודל מותאם אישית לסיווג תמונות כדי להתאים את הזיהוי לתרחיש שימוש ספציפי. מידע נוסף מופיע במאמר בנושא שימוש במודל LiteRT בהתאמה אישית.

יכולות עיקריות

  • מסווג בסיסי רב-עוצמה לשימוש כללי מזהה יותר מ-400 קטגוריות שמתארות את האובייקטים הנפוצים ביותר בתמונות.
  • התאמה לתרחיש השימוש באמצעות מודלים בהתאמה אישית שימוש במודלים אחרים שאומנו מראש מ-TensorFlow Hub או במודל מותאם אישית משלכם שאומן באמצעות TensorFlow, ‏ AutoML או LiteRT.
  • ממשקי API ברמה גבוהה שקל להשתמש בהם אין צורך להתעסק בקלט/פלט של מודלים ברמה נמוכה, בעיבוד מראש ובפוסט-עיבוד של תמונות או בבניית צינור עיבוד. ML Kit מחלץ את התוויות ממודל LiteRT ומספק אותן כתיאור טקסטואלי.

שימו לב שה-API הזה מיועד למודלים של סיווג תמונות שמתארים את התמונה המלאה. כדי לסווג אובייקט אחד או יותר בתמונה, כמו נעליים או רהיטים, יכול להיות ש-API של זיהוי ומעקב אחר אובייקטים יתאים יותר.

מודלים נתמכים לסיווג תמונות

ממשקי ה-API של Image Labeling תומכים במודלים שונים לסיווג תמונות:

מודלים נתמכים לסיווג תמונות
מודל בסיסי כברירת מחדל, ה-API משתמש במודל רב-עוצמה לתוויות תמונות למטרות כלליות, שמזהה יותר מ-400 ישויות שמכסות את המושגים הנפוצים ביותר בתמונות.
מודלים מותאמים אישית של LiteRT כדי לטרגט מושגים ספציפיים לאפליקציה, ה-API מקבל מודלים מותאמים אישית לסיווג תמונות ממגוון רחב של מקורות. אלה יכולים להיות מודלים שעברו אימון מראש שהורדו מ-TensorFlow Hub או מודלים משלכם שאומנו באמצעות AutoML,‏ LiteRT או TensorFlow עצמו. אפשר לצרף מודלים לאפליקציה או לארח אותם ב-Cloud Storage ולהוריד אותם בזמן הריצה.

שימוש במודל הבסיס

מודל הבסיס של ML Kit מחזיר רשימה של ישויות שמזהות אנשים, דברים, מקומות, פעילויות וכו'. לכל ישות יש ציון שמציין את רמת הביטחון של מודל ה-ML ברלוונטיות שלה. בעזרת המידע הזה, אפשר לבצע משימות כמו יצירה אוטומטית של מטא-נתונים וסינון תוכן. מודל ברירת המחדל שמסופק עם ML Kit מזהה יותר מ-400 ישויות שונות.

‫iOS ‫Android

תוויות לדוגמה

מודל הבסיס ב-Image Labeling API תומך ב-400 תוויות ומעלה, כמו הדוגמאות הבאות:

קטגוריהתוויות לדוגמה
אנשים Crowd
Selfie
Smile
פעילויות Dancing
Eating
Surfing
דברים Car
Piano
Receipt
בעלי חיים Bird
Cat
Dog
צמחים Flower
Fruit
Vegetable
מקומות Beach
Lake
Mountain

תוצאות לדוגמה

זו דוגמה לישויות שזוהו בתמונה המצורפת.

תמונה: Clément Bucco-Lechat / Wikimedia Commons / CC BY-SA 3.0
תווית 0
טקסט אצטדיון
רמת הביטחון 0.9205354
תווית 1
טקסט ספורט
רמת הביטחון 0.7531109
תווית 2
טקסט אירוע
רמת הביטחון 0.66905296
תווית 3
טקסט פנאי
רמת הביטחון 0.59904146
תווית 4
טקסט כדורגל
רמת הביטחון 0.56384534
תווית 5
טקסט נטו
רמת הביטחון 0.54679185
תווית 6
טקסט צמח
רמת הביטחון 0.524364

שימוש במודל LiteRT מותאם אישית

מודל התיוג הבסיסי של ML Kit מיועד לשימוש כללי. הוא אומן לזהות 400 קטגוריות שמתארות את האובייקטים הנפוצים ביותר בתמונות. יכול להיות שהאפליקציה שלכם צריכה מודל סיווג תמונות מיוחד שמזהה מספר מצומצם יותר של קטגוריות בפירוט רב יותר, כמו מודל שמבחין בין מינים של פרחים או בין סוגים של מזון.

ה-API הזה מאפשר לכם להתאים את המודלים לתרחיש שימוש ספציפי, כי הוא תומך במודלים מותאמים אישית לסיווג תמונות ממגוון רחב של מקורות. מידע נוסף מופיע במאמר בנושא מודלים מותאמים אישית עם ML Kit. אפשר לצרף מודלים בהתאמה אישית לאפליקציה או להוריד אותם באופן דינמי מ-Cloud Storage.

‫iOS ‫Android

עיבוד מקדים של תמונת הקלט

במקרה הצורך, התכונה 'תוויות לתמונות' משתמשת בהתאמת גודל תמונה דו-לינארית ובהרחבה כדי להתאים את הגודל ויחס הגובה-רוחב של תמונת הקלט לדרישות של המודל הבסיסי.