การติดป้ายกํากับรูปภาพ

คุณใช้ API การติดป้ายกํากับรูปภาพของ ML Kit เพื่อตรวจหาและแยกข้อมูลเกี่ยวกับเอนทิตีในรูปภาพได้ในกลุ่มหมวดหมู่ต่างๆ รูปแบบการติดป้ายกํากับรูปภาพเริ่มต้นจะระบุออบเจ็กต์ทั่วไป สถานที่ กิจกรรม สเปคสัตว์ ผลิตภัณฑ์ และอื่นๆ ได้

คุณยังใช้โมเดลการแยกประเภทรูปภาพที่กําหนดเองเพื่อปรับแต่งการตรวจจับให้เหมาะกับกรณีการใช้งานหนึ่งๆ ได้ด้วย ดูการใช้รูปแบบ TensorFlow Lite ที่กําหนดเอง เพื่อดูข้อมูลเพิ่มเติม

ความสามารถหลัก

  • ตัวแยกฐานพื้นฐานทั่วไปที่มีประสิทธิภาพ จดจําหมวดหมู่ได้มากกว่า 400 หมวดหมู่ที่อธิบายออบเจ็กต์ที่พบได้บ่อยที่สุดในรูปภาพ
  • ปรับแต่งกรณีการใช้งานด้วยโมเดลที่กําหนดเอง ใช้โมเดลที่ฝึกล่วงหน้าอื่นๆ จาก TensorFlow Hub หรือโมเดลที่กําหนดเองของคุณฝึกกับ TensorFlow, AutoML Vision Edge หรือตัวสร้างโมเดล TensorFlow Lite
  • API ระดับสูงที่ใช้งานง่าย ไม่จําเป็นต้องจัดการกับอินพุต/เอาต์พุตโมเดลระดับต่ํา การประมวลผลก่อนและหลังอิมเมจ หรือสร้างไปป์ไลน์การประมวลผล ML Kit จะแยกป้ายกํากับจากโมเดล TensorFlow Lite และแสดงเป็นคําอธิบายข้อความ

โปรดทราบว่า API นี้มีไว้สําหรับโมเดลการแยกประเภทรูปภาพที่อธิบายรูปภาพแบบเต็ม สําหรับการจัดประเภทออบเจ็กต์อย่างน้อย 1 รายการในรูปภาพ เช่น รองเท้าหรือเฟอร์นิเจอร์เฟอร์นิเจอร์ API การตรวจจับและการติดตามออบเจ็กต์อาจเหมาะสมกว่า

รูปแบบการจัดประเภทรูปภาพที่รองรับ

API การติดป้ายกํากับรูปภาพรองรับโมเดลการแยกประเภทรูปภาพที่แตกต่างกัน ดังนี้

รูปแบบการจัดประเภทรูปภาพที่รองรับ
โมเดลฐาน โดยค่าเริ่มต้น API จะใช้รูปแบบการติดป้ายกํากับรูปภาพเพื่อวัตถุประสงค์ทั่วไปที่มีประสิทธิภาพซึ่งจดจําเอนทิตีมากกว่า 400 รายการที่ครอบคลุมแนวคิดที่พบได้บ่อยที่สุดในรูปภาพ
โมเดล TensorFlow Lite ที่กําหนดเอง ในการกําหนดเป้าหมายแนวคิดเฉพาะแอปพลิเคชัน API จะยอมรับโมเดลการแยกประเภทรูปภาพที่กําหนดเองจากหลากหลายแหล่งที่มา โมเดลเหล่านี้อาจเป็นโมเดลที่ฝึกล่วงหน้าซึ่งดาวน์โหลดจาก TensorFlow Hub หรือโมเดลของคุณเองที่ฝึกด้วย AutoML Vision Edge, TensorFlow Lite Model Maker หรือ TensorFlow เอง โมเดลอาจรวมอยู่กับแอปหรือโฮสต์กับ Firebase Machine Learning และดาวน์โหลดในรันไทม์ได้

การใช้โมเดลฐาน

โมเดลฐานของ ML Kit จะแสดงรายการเอนทิตีที่ระบุผู้คน สิ่งต่างๆ สถานที่ กิจกรรม และอื่นๆ เอนทิตีแต่ละรายการจะมีคะแนนที่บ่งบอกถึงความมั่นใจที่โมเดล ML มีต่อความเกี่ยวข้อง คุณใช้ข้อมูลนี้ได้ด้วยการดําเนินการต่างๆ เช่น การสร้างข้อมูลเมตาอัตโนมัติและการดูแลเนื้อหา โมเดลเริ่มต้นที่ให้ไว้กับ ML Kit รู้จักเอนทิตีต่างๆ มากกว่า 400 รายการ

iOS Android

ป้ายกํากับตัวอย่าง

โมเดลฐานใน API การติดป้ายกํากับรูปภาพรองรับป้ายกํากับมากกว่า 400 รายการ เช่น ตัวอย่างต่อไปนี้

หมวดหมู่ป้ายกํากับตัวอย่าง
ผู้คน Crowd
Selfie
Smile
กิจกรรม Dancing
Eating
Surfing
สิ่งของ Car
Piano
Receipt
สัตว์ Bird
Cat
Dog
พืช Flower
Fruit
Vegetable
สถานที่ Beach
Lake
Mountain

ตัวอย่างผลการแข่ง

ต่อไปนี้เป็นตัวอย่างเอนทิตีที่ได้รับการยอมรับในรูปภาพเดียวกัน

รูปภาพ: Clément Bucco-Lechat / Wikimedia Commons / CC BY-SA 3.0
ป้ายกํากับ 0
Text สนามกีฬา
ความมั่นใจ 0.9205354
ป้ายกำกับ 1
Text กีฬา
ความมั่นใจ 0.7531109
ป้ายกํากับ 2
Text เหตุการณ์
ความมั่นใจ 0.66905296
ป้ายกํากับ 3
Text ยามว่าง
ความมั่นใจ 0.59904146
ป้ายกํากับ 4
Text ฟุตบอล
ความมั่นใจ 0.56384534
ป้ายกํากับ 5
Text สุทธิ
ความมั่นใจ 0.54679185
ป้ายกํากับ 6
Text ต้นไม้
ความมั่นใจ 0.524364

การใช้โมเดล TensorFlow Lite ที่กําหนดเอง

โมเดลการติดป้ายกํากับรูปภาพพื้นฐานของ ML Kit สร้างขึ้นสําหรับการใช้งานทั่วไป เราได้ฝึกให้จดจําหมวดหมู่ 400 หมวดหมู่ที่อธิบายออบเจ็กต์ที่พบได้บ่อยที่สุดในรูปภาพ แอปของคุณอาจต้องใช้โมเดลการแยกประเภทรูปภาพเฉพาะที่รับรู้หมวดหมู่ที่แคบลงโดยละเอียด เช่น รูปแบบที่แยกความแตกต่างระหว่างดอกไม้แต่ละชนิด หรือประเภทอาหาร

API นี้ช่วยให้คุณปรับแต่งให้เหมาะกับกรณีการใช้งานหนึ่งๆ ด้วยการรองรับโมเดลการจัดประเภทรูปภาพที่กําหนดเองจากแหล่งที่มาที่หลากหลาย โปรดดูข้อมูลเพิ่มเติมที่โมเดลที่กําหนดเองที่มี ML Kit โมเดลที่กําหนดเองจะมาพร้อมกับแอปหรือดาวน์โหลดแบบไดนามิกจากระบบคลาวด์ได้โดยใช้บริการการติดตั้งใช้งานโมเดลของ Firebase Machine Learning

iOS Android

การประมวลผลรูปภาพล่วงหน้า

หากจําเป็น การติดป้ายกํากับรูปภาพจะใช้การปรับขนาดและการขยายรูปภาพแบบ 2 รูปแบบเพื่อปรับขนาดรูปภาพอินพุตและสัดส่วนภาพให้สอดคล้องกับข้อกําหนดของโมเดลพื้นฐาน