Memahami lingkungan pengguna dengan Scene Semantics API

Panduan khusus platform

Semantik adegan

Scene Semantics API memungkinkan developer memahami scene di sekitar pengguna, yang diperlukan untuk banyak pengalaman AR berkualitas tinggi. Dibangun berdasarkan model ML, Scene Semantics API memberikan informasi semantik real-time, yang melengkapi informasi geometri yang ada di ARCore.

Dengan gambar scene luar ruangan, API akan menampilkan label untuk setiap piksel di seluruh kumpulan class semantik yang berguna, seperti langit, gedung, pohon, jalan, trotoar, kendaraan, orang, dan lainnya. Selain label piksel, Scene Semantics API juga menawarkan nilai keyakinan untuk setiap label piksel dan cara yang mudah digunakan untuk mengkueri prevalensi label tertentu dalam scene luar ruangan.

Dari kiri ke kanan, contoh gambar input, gambar semantik label piksel, dan gambar keyakinan yang sesuai:

Contoh gambar semantik

Dengan Scene Semantics API, developer dapat mengidentifikasi komponen scene tertentu, seperti jalan dan trotoar untuk membantu memandu pengguna melalui kota yang tidak dikenal, orang dan kendaraan untuk merender oklusi pada objek dinamis, langit untuk membuat matahari terbenam kapan saja, dan gedung untuk mengubah tampilannya dan menambatkan objek virtual.

Label semantik dan kualitas

Scene Semantics API menyediakan beberapa label, masing-masing dengan kualitas atau keandalan yang sesuai. Umumnya, model ML lebih mampu memprediksi class objek/permukaan yang lebih besar dan lebih umum daripada class objek/permukaan yang lebih kecil atau lebih jarang. Class dapat dikelompokkan ke dalam tingkat kualitas berikut, yang diurutkan dari yang lebih tinggi ke yang lebih rendah:

Tingkat kualitas label semantik
Komponen scene utama
  • langit
  • gedung
  • pohon
  • jalan
  • kendaraan
Detail scene utama
  • trotoar
  • medan
  • struktur
  • air
Detail scene kecil
  • objek
  • orang

Kompatibilitas perangkat

Scene Semantics API menggunakan daftar perangkat yang didukung yang sama dengan Depth API. Lihat halaman Perangkat yang didukung ARCore untuk mengetahui daftar perangkat terbaru yang mendukung kedua API.

Kasus penggunaan yang didukung

Scene Semantics API dirancang untuk digunakan dalam skenario berikut:

  1. Scene luar ruangan: Hanya mendukung scene luar ruangan dan tidak ditujukan untuk kasus penggunaan dalam ruangan.

  2. Orientasi potret: Hanya boleh digunakan dalam mode orientasi default perangkat (yaitu potret). Kualitas label semantik tidak dijamin untuk mode lanskap.