การตรวจหาวัตถุในอุปกรณ์และ API การติดตามของ ML Kit ช่วยให้คุณตรวจหาและติดตามวัตถุในฟีดรูปภาพหรือฟีดกล้องแบบสดได้
จําแนกประเภทออบเจ็กต์ที่ตรวจพบได้ โดยใช้ตัวแยกประเภทแบบคร่าวๆ ที่ติดตั้งใน API หรือจะใช้โมเดลการแยกประเภทรูปภาพที่กําหนดเองของคุณ ดูการใช้รูปแบบ TensorFlow Lite ที่กําหนดเองสําหรับข้อมูลเพิ่มเติม
เนื่องจากการตรวจจับและการติดตามออบเจ็กต์เกิดขึ้นในอุปกรณ์ จึงทํางานได้เป็นส่วนหน้าของไปป์ไลน์การค้นหาแบบภาพ หลังจากตรวจพบและกรองออบเจ็กต์แล้ว คุณจะส่งต่อออบเจ็กต์ดังกล่าวไปยังแบ็กเอนด์ของระบบคลาวด์ได้ เช่น Cloud Vision Product Search
ความสามารถหลัก
- การตรวจพบและติดตามวัตถุที่ว่องไว ตรวจหาวัตถุและรับตําแหน่งในรูปภาพ ติดตามออบเจ็กต์ในเฟรมรูปภาพที่ต่อเนื่องกัน
- รุ่นอุปกรณ์ที่เพิ่มประสิทธิภาพ โมเดลการตรวจจับและติดตามออบเจ็กต์ได้รับการเพิ่มประสิทธิภาพสําหรับอุปกรณ์เคลื่อนที่ และออกแบบมาให้ใช้ในแอปพลิเคชันแบบเรียลไทม์ได้ แม้กระทั่งในอุปกรณ์ระดับล่าง
- การตรวจจับวัตถุที่โดดเด่น กําหนดวัตถุที่โดดเด่นที่สุดโดยอัตโนมัติในรูปภาพ
- การแยกประเภทคร่าวๆ จําแนกออบเจ็กต์เป็นหมวดหมู่กว้างๆ ซึ่งใช้กรองออบเจ็กต์ที่คุณไม่สนใจออกได้ หมวดหมู่ที่รองรับ ได้แก่ ของใช้ในบ้าน สินค้าแฟชั่น อาหาร พืช และสถานที่
- การแยกประเภทด้วยรูปแบบที่กําหนดเอง ใช้โมเดลการแยกประเภทรูปภาพที่กําหนดเองของคุณเพื่อระบุหรือกรองหมวดหมู่ออบเจ็กต์ที่เฉพาะเจาะจง ทําให้รูปแบบที่กําหนดเองมีประสิทธิภาพดีกว่าโดยการไม่ใส่ พื้นหลังของรูปภาพ
ตัวอย่างผลการแข่ง
การติดตามออบเจ็กต์ที่โดดเด่นที่สุดในรูปภาพต่างๆ
ตัวอย่างด้านล่างแสดงข้อมูลการติดตามจากเฟรม 3 แบบต่อเนื่องซึ่งมีตัวแยกประเภทเริ่มต้นที่ ML Kit มีให้
 |
|
||||||||
 |
|
||||||||
 |
|
รูปภาพ: Christian Ferrer [CC BY-SA 4.0]
วัตถุหลายรายการในภาพนิ่ง
ตัวอย่างด้านล่างแสดงข้อมูลของออบเจ็กต์ทั้ง 4 รายการที่ตรวจพบในรูปภาพ พร้อมด้วยตัวแยกประเภทเริ่มต้นที่ ML Kit มีให้
| วัตถุ 0 | |
|---|---|
| ขอบเขต | (1, 97), (332, 97), (332, 332), (1, 332) |
| หมวดหมู่ | แฟชั่นที่ดี |
| ความมั่นใจในการแยกประเภท | 0.95703125 |
| วัตถุ 1 | |
| ขอบเขต | (186, 80), (337, 80), (337, 226), (186, 226) |
| หมวดหมู่ | แฟชั่นที่ดี |
| ความมั่นใจในการแยกประเภท | 0.84375 |
| วัตถุ 2 | |
| ขอบเขต | (296, 80), (472, 80), (472, 388), (296, 388) |
| หมวดหมู่ | แฟชั่นที่ดี |
| ความมั่นใจในการแยกประเภท | 0.94921875 |
| วัตถุ 3 | |
| ขอบเขต | (439, 83), (615, 83), (615, 306), (439, 306) |
| หมวดหมู่ | แฟชั่นที่ดี |
| ความมั่นใจในการแยกประเภท | 0.9375 |
การใช้โมเดล TensorFlow Lite ที่กําหนดเอง
ตัวแยกประเภทเริ่มต้นสร้างขึ้นสําหรับ 5 หมวดหมู่ โดยจะให้ข้อมูลที่จํากัดเกี่ยวกับออบเจ็กต์ที่ตรวจพบ คุณอาจต้องใช้ตัวแยกประเภทที่เฉพาะเจาะจงมากขึ้นเพื่อให้ครอบคลุมขอบเขตแนวคิดที่แคบลง เช่น รูปแบบในการแยกความแตกต่างระหว่างดอกไม้แต่ละชนิดหรือประเภทอาหาร
API นี้ช่วยให้คุณปรับแต่งให้เหมาะกับกรณีการใช้งานหนึ่งๆ ด้วยการรองรับโมเดลการจัดประเภทรูปภาพที่กําหนดเองจากแหล่งที่มาที่หลากหลาย โปรดดูข้อมูลเพิ่มเติมที่โมเดลที่กําหนดเองที่มี ML Kit โมเดลที่กําหนดเองสามารถรวมเข้ากับแอป หรือดาวน์โหลดแบบไดนามิกจากระบบคลาวด์ โดยใช้บริการการติดตั้งใช้งานโมเดลของ Firebase Machine Learning
การประมวลผลรูปภาพล่วงหน้า
หากจําเป็น การตรวจจับและการติดตามออบเจ็กต์จะใช้การปรับขนาดรูปภาพแบบ 2 ทิศทางและยืดเพื่อปรับขนาดและสัดส่วนภาพของรูปภาพที่ป้อนให้เป็นไปตามข้อกําหนดของโมเดลที่ใช้งานอยู่