คำแนะนำเฉพาะแพลตฟอร์ม
Android (Kotlin/Java)
Android NDK (C)
iOS
Unity (AR Foundation)
Scene Semantics API ช่วยให้นักพัฒนาแอปเข้าใจฉากรอบตัวผู้ใช้ ซึ่งจำเป็นสำหรับประสบการณ์ AR คุณภาพสูงหลายอย่าง Scene Semantics API สร้างขึ้นบนโมเดล ML และให้ข้อมูลเชิงความหมายแบบเรียลไทม์ ซึ่งช่วยเสริมข้อมูลเชิงเรขาคณิตที่มีอยู่แล้วใน ARCore
เมื่อได้รับรูปภาพฉากกลางแจ้ง API จะแสดงป้ายกำกับสำหรับแต่ละพิกเซลในชุดคลาสเชิงความหมายที่มีประโยชน์ เช่น ท้องฟ้า อาคาร ต้นไม้ ถนน ทางเท้า ยานพาหนะ บุคคล และอื่นๆ นอกเหนือจากป้ายกำกับพิกเซลแล้ว Scene Semantics API ยังมีค่าความเชื่อมั่นสำหรับป้ายกำกับพิกเซลแต่ละรายการ และวิธีที่ใช้งานง่ายในการค้นหาความแพร่หลายของป้ายกำกับที่กำหนดในฉากกลางแจ้ง
จากซ้ายไปขวา ตัวอย่างของรูปภาพอินพุต รูปภาพเชิงความหมายของป้ายกำกับพิกเซล และรูปภาพความเชื่อมั่นที่เกี่ยวข้อง
Scene Semantics API ช่วยให้นักพัฒนาแอปสามารถระบุองค์ประกอบฉากที่เฉพาะเจาะจง เช่น ถนนและทางเท้า เพื่อช่วยแนะนำผู้ใช้ในเมืองที่ไม่คุ้นเคย ผู้คนและยานพาหนะเพื่อแสดงการบดบังวัตถุแบบไดนามิก ท้องฟ้าเพื่อสร้างภาพพระอาทิตย์ตกในเวลาใดก็ได้ของวัน และอาคารเพื่อแก้ไขลักษณะที่ปรากฏและยึดวัตถุเสมือน
ป้ายกำกับความหมายและคุณภาพ
Scene Semantics API มีป้ายกำกับหลายรายการ โดยแต่ละรายการจะมีคุณภาพหรือความน่าเชื่อถือที่สอดคล้องกัน โดยทั่วไปแล้ว โมเดลแมชชีนเลิร์นนิงจะคาดการณ์คลาสของออบเจ็กต์/พื้นผิวขนาดใหญ่และพบบ่อยได้ดีกว่าคลาสของออบเจ็กต์/พื้นผิวขนาดเล็กหรือพบได้ยาก โดยสามารถจัดกลุ่มคลาสเป็นระดับคุณภาพต่อไปนี้ได้ โดยเรียงจากสูงไปต่ำ
| ระดับคุณภาพของป้ายกำกับความหมาย | |
|---|---|
| คอมโพเนนต์หลักของฉาก |
|
| รายละเอียดฉากที่สำคัญ |
|
| รายละเอียดฉากเล็กๆ |
|
ความเข้ากันได้ของอุปกรณ์
Scene Semantics API ใช้รายการอุปกรณ์ที่รองรับเดียวกันกับ Depth API โปรดดูรายการอุปกรณ์ที่รองรับ API ทั้ง 2 รายการล่าสุดในหน้าอุปกรณ์ที่รองรับ ARCore
กรณีการใช้งานที่รองรับ
Scene Semantics API ออกแบบมาเพื่อใช้ในสถานการณ์ต่อไปนี้
ฉากกลางแจ้ง: รองรับเฉพาะฉากกลางแจ้งและไม่ได้มีไว้สำหรับกรณีการใช้งานในอาคาร
การวางแนวตั้ง: ควรใช้เฉพาะในโหมดการวางแนวเริ่มต้นของอุปกรณ์ (เช่น แนวตั้ง) เราไม่รับประกันคุณภาพของป้ายกำกับเชิงความหมายในโหมดแนวนอน