בעזרת ממשקי ה-API לתיוג תמונות בלמידת מכונה, תוכלו לזהות ולחלץ מידע על ישויות בתמונה בקבוצה גדולה של קטגוריות. מודל ברירת המחדל לתיוג תמונות יכול לזהות אובייקטים כלליים, מקומות, פעילויות, מינים של בעלי חיים, מוצרים ועוד.
תוכלו גם להשתמש במודל של סיווג תמונה בהתאמה אישית כדי להתאים את הזיהוי לתרחיש לדוגמה ספציפי. מידע נוסף זמין במאמר שימוש במודל TensorFlow Lite מותאם אישית.
יכולות עיקריות
- מסווג בסיסי רב-תכליתי מזהה יותר מ-400 קטגוריות שמתארות את האובייקטים הנפוצים ביותר בתמונות.
- שימוש בדגמים מותאמים אישית
- ממשקי API נוחים לשימוש מהיר אין צורך להתמודד עם קלט/פלט של מודל ברמה נמוכה, תהליך עיבוד לפני ואחרי העיבוד או בניית צינור עיבוד נתונים. ערכת למידת מכונה מחלצת את התוויות מהמודל של TensorFlow Lite ומספקת אותן כתיאור טקסט.
שימו לב ש-API זה מיועד למודלים לסיווג תמונות שמתארים את התמונה המלאה. אם רוצים לסווג אובייקט אחד או יותר בתמונה, כמו נעליים או פריטי ריהוט, ה-API לזיהוי ולמעקב אחר אובייקטים עשוי להתאים יותר.
מודלים נתמכים של סיווג תמונות
ממשקי ה-API לתיוג תמונות תומכים במודלים שונים של סיווג תמונות:
| מודלים נתמכים של סיווג תמונות | |
|---|---|
| מודל בסיסי | כברירת מחדל, ה-API משתמש במודל רב עוצמה ליצירת תוויות תמונה המזהה יותר מ-400 ישויות שמכסות את הקונספטים הנפוצים ביותר בתמונות. |
| דגמים בהתאמה אישית של TensorFlow Lite | כדי לטרגט לקונספטים ספציפיים לאפליקציות, ה-API מקבל מודלים מותאמים אישית של סיווג תמונות ממגוון רחב של מקורות. אפשר לקנות מודלים שאומנו מראש מ-TensorFlow Hub או ממודלים משלך שאומנו באמצעות AutoML Vision Edge, TensorFlow Lite Model Maker או TensorFlow עצמה. ניתן לקבץ מודלים עם האפליקציה שלך או לארח אותם באמצעות למידה חישובית של Firebase ולהוריד אותם בזמן הריצה. |
שימוש במודל הבסיסי
המודל הבסיסי של למידת המכונה (ML) מחזיר רשימה של ישויות שמזהה אנשים, דברים, מקומות, פעילויות וכו'. לכל ישות יש ציון שמציין את מידת הביטחון של מודל ה-ML ברלוונטיות שלו. באמצעות המידע הזה תוכלו לבצע משימות כמו יצירת מטא-נתונים אוטומטיים וניהול התוכן. מודל ברירת המחדל שסופק עם ML Kit מזהה יותר מ-400 ישויות שונות.
תוויות לדוגמה
במודל הבסיס שב-API לתיוג תמונות יש תמיכה ביותר מ-400 תוויות, כמו בדוגמאות הבאות:
| קטגוריה | תוויות לדוגמה |
|---|---|
| אנשים | CrowdSelfieSmile |
| פעילויות | DancingEatingSurfing |
| דברים | CarPianoReceipt |
| בעלי חיים | BirdCatDog |
| צמחים | FlowerFruitVegetable |
| מקומות | BeachLakeMountain |
תוצאות לדוגמה
הנה דוגמה לישויות שזוהו בתמונה הנלווית.
| תווית 0 | |
|---|---|
| טקסט | אצטדיון |
| ביטחון | 0.9205354 |
| תווית 1 | |
| טקסט | ספורט |
| ביטחון | 0.7531109 |
| תווית 2 | |
| טקסט | אירוע |
| ביטחון | 0.66905296 |
| תווית 3 | |
| טקסט | פנאי |
| ביטחון | 0.59904146 |
| תווית 4 | |
| טקסט | כדורגל |
| ביטחון | 0.56384534 |
| תווית 5 | |
| טקסט | נטו |
| ביטחון | 0.54679185 |
| תווית 6 | |
| טקסט | צמח |
| ביטחון | 0.524364 |
באמצעות מודל מותאם אישית של TensorFlow Lite
מודל יצירת התוויות הבסיסיות של ערכת ML מיועד לשימוש כללי. הוא מאומן לזהות 400 קטגוריות שמתארות את האובייקטים הנפוצים ביותר בתמונות. יכול להיות שהאפליקציה שלכם זקוקה למודל מיוחד של סיווג תמונות, שמזהה מספר מצומצם יותר של קטגוריות בצורה מפורטת יותר. למשל, מודל שמבדיל בין סוגים שונים של פרחים או סוגי מזון.
בעזרת ה-API הזה תוכלו להתאים אישית תרחיש לדוגמה על ידי תמיכה במודלים מותאמים אישית של סיווג תמונות ממגוון רחב של מקורות. מידע נוסף מפורט במאמר מודלים מותאמים אישית עם ערכת למידת מכונה. אתם יכולים ליצור מודלים מותאמים אישית באפליקציה או להוריד אותם באופן דינמי מהענן באמצעות שירות פריסת המודלים של Firebase Machine Learning.
עיבוד מראש של תמונת קלט
במקרה הצורך, תיוג תמונות משתמש בהתאמת תמונות בינארית ובמתיחה כדי להתאים את גודל התמונה ויחס הגובה-רוחב של הקלט כך שיתאימו לדרישות של המודל הבסיסי.