จัดทุกอย่างให้เป็นระเบียบอยู่เสมอด้วยคอลเล็กชัน บันทึกและจัดหมวดหมู่เนื้อหาตามค่ากำหนดของคุณ

การตรวจจับและการติดตามออบเจ็กต์

ด้วยตรวจหาออบเจ็กต์และ API การติดตามในอุปกรณ์ของ ML Kit&#39 คุณจะตรวจหาและติดตามออบเจ็กต์ในฟีดรูปภาพหรือฟีดกล้องแบบสดได้

คุณสามารถเลือกแยกประเภทออบเจ็กต์ที่ตรวจพบได้ โดยใช้ตัวแยกประเภทที่มีอยู่ใน API หรือใช้รูปแบบการจัดประเภทรูปภาพที่คุณกําหนดเอง ดูการใช้โมเดล TensorFlow Lite ที่กําหนดเองสําหรับข้อมูลเพิ่มเติม

เนื่องจากการตรวจจับและการติดตามออบเจ็กต์เกิดขึ้นในอุปกรณ์ จึงทํางานได้ดีกับส่วนหน้าของไปป์ไลน์การค้นหาด้วยภาพ หลังจากที่ตรวจพบและกรองออบเจ็กต์แล้ว คุณสามารถส่งต่อออบเจ็กต์ดังกล่าวไปยังแบ็กเอนด์ของระบบคลาวด์ เช่น Cloud Vision Product Search

iOS Android

ความสามารถหลัก

  • การตรวจจับและติดตามวัตถุอย่างรวดเร็ว ตรวจจับวัตถุและรับตําแหน่งของวัตถุในรูปภาพ ติดตามวัตถุต่างๆ ในเฟรมรูปภาพที่ต่อเนื่องกัน
  • โมเดลบนอุปกรณ์ที่เพิ่มประสิทธิภาพ โมเดลการตรวจจับและการติดตามออบเจ็กต์ได้รับการเพิ่มประสิทธิภาพสําหรับอุปกรณ์เคลื่อนที่ และออกแบบมาเพื่อใช้ในแอปพลิเคชันแบบเรียลไทม์ แม้แต่ในอุปกรณ์ระดับล่าง
  • การตรวจจับวัตถุที่โดดเด่น ระบุวัตถุที่โดดเด่นที่สุดในรูปภาพโดยอัตโนมัติ
  • การจัดประเภทแบบหยาบ แยกประเภทออบเจ็กต์เป็นหมวดหมู่แบบกว้าง ซึ่งสามารถใช้กรองออบเจ็กต์ที่คุณไม่สนใจได้ หมวดหมู่ที่รองรับ ได้แก่ ของใช้ในบ้าน เสื้อผ้าแฟชั่น อาหาร พืช และสถานที่
  • การจัดประเภทด้วยรูปแบบที่กําหนดเอง ใช้โมเดลการแยกประเภทรูปภาพที่กําหนดเองเพื่อระบุหรือกรองหมวดหมู่ออบเจ็กต์ที่เจาะจง ทําให้โมเดลที่กําหนดเองมีประสิทธิภาพดีขึ้น โดยการออกจากพื้นหลังของรูปภาพ

ตัวอย่างผลการแข่ง

การติดตามออบเจ็กต์ที่โดดเด่นที่สุดในรูปภาพต่างๆ

ตัวอย่างด้านล่างแสดงข้อมูลการติดตามจากเฟรมต่อเนื่อง 3 เฟรมที่มีตัวแยกประเภทเริ่มต้นซึ่งได้จาก ML Kit

รหัสติดตาม 0
ขอบเขต (95, 45), (496, 45), (496, 240), (95, 240)
หมวดหมู่ สถานที่
ความมั่นใจในการจัดประเภท 0.9296875
รหัสติดตาม 0
ขอบเขต (84, 46), (478, 46), (478, 247), (84, 247)
หมวดหมู่ สถานที่
ความมั่นใจในการจัดประเภท 0.8710938
รหัสติดตาม 0
ขอบเขต (53, 45), (519, 45), (519, 240), (53, 240)
หมวดหมู่ สถานที่
ความมั่นใจในการจัดประเภท 0.8828125

รูปภาพ: Christian Ferrer [CC BY-SA 4.0]

วัตถุหลายรายการในภาพนิ่ง

ตัวอย่างด้านล่างแสดงข้อมูลสําหรับออบเจ็กต์ทั้ง 4 รายการที่ตรวจพบในรูปภาพที่มีตัวแยกประเภทเริ่มต้นที่กําหนดโดย ML Kit

วัตถุ 0
ขอบเขต (1, 97), (332, 97), (332, 332), (1, 332)
หมวดหมู่ แฟชั่นที่ดี
ความมั่นใจในการจัดประเภท 0.95703125
วัตถุ 1
ขอบเขต (186, 80), (337, 80), (337, 226), (186, 226)
หมวดหมู่ แฟชั่นที่ดี
ความมั่นใจในการจัดประเภท 0.84375
วัตถุ 2
ขอบเขต (296, 80), (472, 80), (472, 388), (296, 388)
หมวดหมู่ แฟชั่นที่ดี
ความมั่นใจในการจัดประเภท 0.94921875
วัตถุ 3
ขอบเขต (439, 83), (615, 83), (615, 306), (439, 306)
หมวดหมู่ แฟชั่นที่ดี
ความมั่นใจในการจัดประเภท 0.9375

การใช้โมเดล TensorFlow Lite ที่กําหนดเอง

ตัวแยกประเภทเริ่มต้นสร้างขึ้นสําหรับ 5 หมวดหมู่ ซึ่งจะจํากัดข้อมูลที่ตรวจพบเกี่ยวกับออบเจ็กต์ที่ตรวจพบ คุณอาจต้องการรูปแบบตัวแยกประเภทที่เจาะจงมากขึ้น ซึ่งครอบคลุมขอบเขตแนวคิดที่แคบลง เช่น รูปแบบที่ใช้แยกแยะดอกไม้ประเภทต่างๆ หรือประเภทอาหาร

API นี้ช่วยให้คุณปรับแต่งให้เข้ากับกรณีการใช้งานหนึ่งๆ โดยการรองรับโมเดลการจัดประเภทรูปภาพที่กําหนดเองจากแหล่งที่มาที่หลากหลาย โปรดดูข้อมูลเพิ่มเติมที่รูปแบบที่กําหนดเองด้วย ML Kit โมเดลที่กําหนดเองสามารถรวมกับแอปหรือดาวน์โหลดแบบไดนามิกจากระบบคลาวด์โดยใช้บริการการทําให้โมเดล Firebase ใช้งานได้&#39

iOS Android

การประมวลผลข้อมูลรูปภาพล่วงหน้า

หากจําเป็น การตรวจจับและการติดตามวัตถุจะใช้การปรับขนาดและการขยายรูปภาพแบบ 2 ทิศทางเพื่อปรับขนาดรูปภาพอินพุตและสัดส่วนภาพเพื่อให้เป็นไปตามข้อกําหนดของโมเดลที่เกี่ยวข้อง