การตรวจจับและติดตามวัตถุ

การตรวจหาวัตถุในอุปกรณ์และ API การติดตามของ ML Kit ช่วยให้คุณตรวจหาและติดตามวัตถุในฟีดรูปภาพหรือฟีดกล้องแบบสดได้

จําแนกประเภทออบเจ็กต์ที่ตรวจพบได้ โดยใช้ตัวแยกประเภทแบบคร่าวๆ ที่ติดตั้งใน API หรือจะใช้โมเดลการแยกประเภทรูปภาพที่กําหนดเองของคุณ ดูการใช้รูปแบบ TensorFlow Lite ที่กําหนดเองสําหรับข้อมูลเพิ่มเติม

เนื่องจากการตรวจจับและการติดตามออบเจ็กต์เกิดขึ้นในอุปกรณ์ จึงทํางานได้เป็นส่วนหน้าของไปป์ไลน์การค้นหาแบบภาพ หลังจากตรวจพบและกรองออบเจ็กต์แล้ว คุณจะส่งต่อออบเจ็กต์ดังกล่าวไปยังแบ็กเอนด์ของระบบคลาวด์ได้ เช่น Cloud Vision Product Search

iOS Android

ความสามารถหลัก

  • การตรวจพบและติดตามวัตถุที่ว่องไว ตรวจหาวัตถุและรับตําแหน่งในรูปภาพ ติดตามออบเจ็กต์ในเฟรมรูปภาพที่ต่อเนื่องกัน
  • รุ่นอุปกรณ์ที่เพิ่มประสิทธิภาพ โมเดลการตรวจจับและติดตามออบเจ็กต์ได้รับการเพิ่มประสิทธิภาพสําหรับอุปกรณ์เคลื่อนที่ และออกแบบมาให้ใช้ในแอปพลิเคชันแบบเรียลไทม์ได้ แม้กระทั่งในอุปกรณ์ระดับล่าง
  • การตรวจจับวัตถุที่โดดเด่น กําหนดวัตถุที่โดดเด่นที่สุดโดยอัตโนมัติในรูปภาพ
  • การแยกประเภทคร่าวๆ จําแนกออบเจ็กต์เป็นหมวดหมู่กว้างๆ ซึ่งใช้กรองออบเจ็กต์ที่คุณไม่สนใจออกได้ หมวดหมู่ที่รองรับ ได้แก่ ของใช้ในบ้าน สินค้าแฟชั่น อาหาร พืช และสถานที่
  • การแยกประเภทด้วยรูปแบบที่กําหนดเอง ใช้โมเดลการแยกประเภทรูปภาพที่กําหนดเองของคุณเพื่อระบุหรือกรองหมวดหมู่ออบเจ็กต์ที่เฉพาะเจาะจง ทําให้รูปแบบที่กําหนดเองมีประสิทธิภาพดีกว่าโดยการไม่ใส่ พื้นหลังของรูปภาพ

ตัวอย่างผลการแข่ง

การติดตามออบเจ็กต์ที่โดดเด่นที่สุดในรูปภาพต่างๆ

ตัวอย่างด้านล่างแสดงข้อมูลการติดตามจากเฟรม 3 แบบต่อเนื่องซึ่งมีตัวแยกประเภทเริ่มต้นที่ ML Kit มีให้

รหัสติดตาม 0
ขอบเขต (95, 45), (496, 45), (496, 240), (95, 240)
หมวดหมู่ สถานที่
ความมั่นใจในการแยกประเภท 0.9296875
รหัสติดตาม 0
ขอบเขต (84, 46), (478, 46), (478, 247), (84, 247)
หมวดหมู่ สถานที่
ความมั่นใจในการแยกประเภท 0.8710938
รหัสติดตาม 0
ขอบเขต (53, 45), (519, 45), (519, 240), (53, 240)
หมวดหมู่ สถานที่
ความมั่นใจในการแยกประเภท 0.8828125

รูปภาพ: Christian Ferrer [CC BY-SA 4.0]

วัตถุหลายรายการในภาพนิ่ง

ตัวอย่างด้านล่างแสดงข้อมูลของออบเจ็กต์ทั้ง 4 รายการที่ตรวจพบในรูปภาพ พร้อมด้วยตัวแยกประเภทเริ่มต้นที่ ML Kit มีให้

วัตถุ 0
ขอบเขต (1, 97), (332, 97), (332, 332), (1, 332)
หมวดหมู่ แฟชั่นที่ดี
ความมั่นใจในการแยกประเภท 0.95703125
วัตถุ 1
ขอบเขต (186, 80), (337, 80), (337, 226), (186, 226)
หมวดหมู่ แฟชั่นที่ดี
ความมั่นใจในการแยกประเภท 0.84375
วัตถุ 2
ขอบเขต (296, 80), (472, 80), (472, 388), (296, 388)
หมวดหมู่ แฟชั่นที่ดี
ความมั่นใจในการแยกประเภท 0.94921875
วัตถุ 3
ขอบเขต (439, 83), (615, 83), (615, 306), (439, 306)
หมวดหมู่ แฟชั่นที่ดี
ความมั่นใจในการแยกประเภท 0.9375

การใช้โมเดล TensorFlow Lite ที่กําหนดเอง

ตัวแยกประเภทเริ่มต้นสร้างขึ้นสําหรับ 5 หมวดหมู่ โดยจะให้ข้อมูลที่จํากัดเกี่ยวกับออบเจ็กต์ที่ตรวจพบ คุณอาจต้องใช้ตัวแยกประเภทที่เฉพาะเจาะจงมากขึ้นเพื่อให้ครอบคลุมขอบเขตแนวคิดที่แคบลง เช่น รูปแบบในการแยกความแตกต่างระหว่างดอกไม้แต่ละชนิดหรือประเภทอาหาร

API นี้ช่วยให้คุณปรับแต่งให้เหมาะกับกรณีการใช้งานหนึ่งๆ ด้วยการรองรับโมเดลการจัดประเภทรูปภาพที่กําหนดเองจากแหล่งที่มาที่หลากหลาย โปรดดูข้อมูลเพิ่มเติมที่โมเดลที่กําหนดเองที่มี ML Kit โมเดลที่กําหนดเองสามารถรวมเข้ากับแอป หรือดาวน์โหลดแบบไดนามิกจากระบบคลาวด์ โดยใช้บริการการติดตั้งใช้งานโมเดลของ Firebase Machine Learning

iOS Android

การประมวลผลรูปภาพล่วงหน้า

หากจําเป็น การตรวจจับและการติดตามออบเจ็กต์จะใช้การปรับขนาดรูปภาพแบบ 2 ทิศทางและยืดเพื่อปรับขนาดและสัดส่วนภาพของรูปภาพที่ป้อนให้เป็นไปตามข้อกําหนดของโมเดลที่ใช้งานอยู่