بااستفاده از API ردیابی و تشخیص اشیای درون‌دستگاهی ML Kit، می‌توانید اشیای موجود در تصویر یا فید دوربین زنده را تشخیص دهید و ردیابی کنید.
درصورت تمایل، می‌توانید اشیای شناسایی‌شده را بااستفاده از طبقه‌بندی‌کننده کلی تعبیه‌شده در میانای برنامه‌سازی کاربردی یا بااستفاده از مدل طبقه‌بندی تصویر سفارشی خودتان طبقه‌بندی کنید. برای اطلاعات بیشتر، به استفاده از مدل LiteRT سفارشی مراجعه کنید.
ازآنجایی‌که تشخیص و ردیابی شیء در دستگاه انجام می‌شود، این ویژگی به‌عنوان پیش‌برنده خط لوله جستجوی تصویری به‌خوبی عمل می‌کند. پس‌از شناسایی و فیلتر کردن اشیا، می‌توانید آن‌ها را به زیرینه ابری، مثل جستجوی محصول Cloud Vision، منتقل کنید.
قابلیت‌های کلیدی
- تشخیص و ردیابی سریع اشیا اشیا را تشخیص دهید و مکان آن‌ها را در تصویر دریافت کنید. اشیا را در سراسر قاب‌های تصویر پی‌درپی ردیابی کنید.
- مدل درون‌دستگاهی بهینه‌سازی‌شده مدل تشخیص و ردیابی اشیا برای دستگاه‌های همراه بهینه‌سازی شده است و برای استفاده در برنامه‌های هم‌زمان، حتی در دستگاه‌های رده‌پایین، درنظر گرفته شده است.
- تشخیص شیء برجسته به‌طور خودکار برجسته‌ترین شیء را در تصویر تعیین کنید.
- طبقه‌بندی کلی اشیاء را در دسته‌های گسترده طبقه‌بندی کنید، که می‌توانید از آن برای فیلتر کردن اشیاء موردنظرتان استفاده کنید. دسته‌های زیر پشتیبانی می‌شوند: کالاهای خانگی، کالاهای مد، غذا، گیاهان، و مکان‌ها.
- طبقه‌بندی با مدل سفارشی از مدل طبقه‌بندی تصویر سفارشی خودتان برای شناسایی یا فیلتر کردن دسته‌های شیء خاص استفاده کنید. با حذف کردن پس‌زمینه تصویر، مدل سفارشی‌تان را بهتر کنید.
نتایج نمونه
ردیابی برجسته‌ترین شیء در سراسر تصاویر
مثال زیر داده‌های ردیابی را از سه قاب متوالی با طبقه‌بندی‌کننده درشت پیش‌فرض ارائه‌شده توسط ML Kit نشان می‌دهد.
 |
|
||||||||
 |
|
||||||||
 |
|
عکس: Christian Ferrer [CC BY-SA 4.0]
چندین شیء در تصویر ثابت
مثال زیر داده‌های چهار شیء شناسایی‌شده در تصویر را با طبقه‌بندی‌کننده کلی پیش‌فرض ارائه‌شده توسط ML Kit نشان می‌دهد.
| شیء ۰ | |
|---|---|
| محدوده | (۱، ۹۷)، (۳۳۲، ۹۷)، (۳۳۲، ۳۳۲)، (۱، ۳۳۲) |
| دسته | FASHION_GOOD |
| اطمینان طبقه‌بندی | ۰٫۹۵۷۰۳۱۲۵ |
| شیء ۱ | |
| محدوده | (۱۸۶، ۸۰)، (۳۳۷، ۸۰)، (۳۳۷، ۲۲۶)، (۱۸۶، ۲۲۶) |
| دسته | FASHION_GOOD |
| اطمینان طبقه‌بندی | ۰.۸۴۳۷۵ |
| شیء ۲ | |
| محدوده | (۲۹۶، ۸۰)، (۴۷۲، ۸۰)، (۴۷۲، ۳۸۸)، (۲۹۶، ۳۸۸) |
| دسته | FASHION_GOOD |
| اطمینان طبقه‌بندی | 0.94921875 |
| شیء ۳ | |
| محدوده | (۴۳۹، ۸۳)، (۶۱۵، ۸۳)، (۶۱۵، ۳۰۶)، (۴۳۹، ۳۰۶) |
| دسته | FASHION_GOOD |
| اطمینان طبقه‌بندی | ۰٫۹۳۷۵ |
استفاده از مدل سفارشی LiteRT
طبقه‌بند درشت پیش‌فرض برای پنج دسته ساخته شده است و اطلاعات محدودی درباره اشیای شناسایی‌شده ارائه می‌دهد. ممکن است به مدل طبقه‌بند تخصصی‌تری نیاز داشته باشید که حوزه مفهومی محدودتری را با جزئیات بیشتری پوشش دهد؛ برای مثال، مدلی برای تشخیص گونه‌های گل یا انواع غذا.
این API با پشتیبانی از مدل‌های طبقه‌بندی تصویر سفارشی از طیف گسترده‌ای از منابع، به شما امکان می‌دهد برای مورد استفاده خاصی سفارشی‌سازی کنید. برای کسب اطلاعات بیشتر، به مدل‌های سفارشی با ML Kit مراجعه کنید. مدل‌های سفارشی می‌توانند با برنامه شما دسته‌بندی شوند یا به‌صورت پویا از Cloud Storage بارگیری شوند.
پیش‌پردازش تصویر ورودی
درصورت نیاز، تشخیص و ردیابی شیء از مقیاس‌بندی و کشش تصویر دوخطی برای تنظیم اندازه و نسبت ابعادی تصویر ورودی استفاده می‌کند تا با الزامات مدل زیرین مطابقت داشته باشد.