คำแนะนำเฉพาะแพลตฟอร์ม
Android (Kotlin/Java)
Android NDK (C)
iOS
Unity (มูลนิธิ AR)
Scene Semantics API จะช่วยให้นักพัฒนาซอฟต์แวร์เข้าใจบรรยากาศรอบตัวผู้ใช้ ซึ่งจำเป็นสำหรับประสบการณ์การใช้งาน AR คุณภาพสูงจำนวนมาก Scene Semantics API สร้างขึ้นบนโมเดล ML จะให้ข้อมูลเชิงความหมายแบบเรียลไทม์ ซึ่งช่วยเสริมข้อมูลทางเรขาคณิตที่มีอยู่ใน ARCore
ด้วยการแสดงรูปภาพภายนอกอาคาร API จะส่งป้ายกำกับสำหรับแต่ละพิกเซลในชุดคลาสเชิงความหมายที่เป็นประโยชน์ เช่น ท้องฟ้า อาคาร ต้นไม้ ถนน ทางเท้า ยานพาหนะ บุคคล และอื่นๆ นอกจากป้ายกำกับพิกเซลแล้ว Scene Semantics API ยังให้ค่าความเชื่อมั่นสำหรับป้ายกำกับพิกเซลแต่ละป้าย และวิธีที่ใช้งานง่ายในการค้นหาความแพร่หลายของป้ายกำกับหนึ่งๆ ในสภาพแวดล้อมกลางแจ้ง
ตัวอย่างรูปภาพอินพุต รูปภาพเชิงความหมายป้ายกำกับพิกเซล และรูปภาพความเชื่อมั่นที่เกี่ยวข้องจากซ้ายไปขวา
Scene Semantics API จะช่วยให้นักพัฒนาซอฟต์แวร์ระบุองค์ประกอบฉากที่เจาะจงได้ เช่น ถนนและทางเท้า เพื่อช่วยนำทางผู้ใช้ผ่านเมืองที่ไม่คุ้นเคย ผู้คน และยานพาหนะเพื่อแสดงให้เห็นการซ้อนทับกับวัตถุแบบไดนามิก ท้องฟ้าที่จะทำให้เกิดพระอาทิตย์ตกได้ทุกเมื่อในแต่ละวัน และสิ่งปลูกสร้างเพื่อแก้ไขลักษณะที่ปรากฏและยึดวัตถุเสมือนจริง
ป้ายกำกับเชิงความหมายและคุณภาพ
Scene Semantics API มีป้ายกำกับหลายป้าย โดยแต่ละป้ายมีคุณภาพหรือความน่าเชื่อถือที่สอดคล้องกัน โดยทั่วไปแล้ว โมเดล ML จะคาดการณ์คลาสของวัตถุ/พื้นผิวที่มีขนาดใหญ่กว่าและพบได้บ่อยกว่าคลาสของวัตถุ/พื้นผิวที่มีขนาดเล็กกว่าหรือหายาก คุณสามารถจัดกลุ่มชั้นเรียนออกเป็นระดับคุณภาพต่อไปนี้ โดยจัดอันดับจากสูงไปต่ำ
| ระดับคุณภาพของป้ายกำกับเชิงความหมาย | |
|---|---|
| องค์ประกอบฉากหลัก |
|
| รายละเอียดฉากหลัก |
|
| รายละเอียดฉากเล็กน้อย |
|
ความเข้ากันได้ของอุปกรณ์
Scene Semantics API จะใช้รายการอุปกรณ์ที่รองรับเดียวกันกับ Depth API โปรดดูรายชื่ออุปกรณ์ที่รองรับทั้ง 2 API ในหน้าอุปกรณ์ที่รองรับ ARCore
Use Case ที่รองรับ
Scene Semantics API ออกแบบมาเพื่อใช้ในสถานการณ์ต่อไปนี้
ฉากกลางแจ้ง: รองรับเฉพาะฉากกลางแจ้งเท่านั้น และไม่มีไว้สำหรับกรณีการใช้งานภายในอาคาร
การวางแนวตั้ง: ควรใช้ในโหมดการวางแนวเริ่มต้นของอุปกรณ์เท่านั้น (เช่น แนวตั้ง) ไม่ได้รับประกันคุณภาพของป้ายกํากับความหมายสําหรับโหมดแนวนอน