Scene Semantics API ile kullanıcı ortamını anlama

Platforma özel kılavuzlar

Sahne anlam bilimi

Scene Semantics API, geliştiricilerin kullanıcının etrafındaki sahneyi anlamasını sağlar. Bu, birçok yüksek kaliteli AR deneyimi için gereklidir. Bir makine öğrenimi modeli üzerine kurulu olan Scene Semantics API, ARCore'daki mevcut geometrik bilgileri tamamlayan gerçek zamanlı semantik bilgiler sağlar.

API, açık hava sahnesinin görüntüsünü aldığında gökyüzü, bina, ağaç, yol, kaldırım, araç ve kişi gibi bir dizi faydalı anlamsal sınıf genelinde her piksel için bir etiket döndürür. Sahne Semantiği API'si, piksel etiketlerine ek olarak her piksel etiketi için güven değerleri ve belirli bir etiketin dış mekan sahnesindeki yaygınlığını sorgulamak için kullanımı kolay bir yöntem sunar.

Soldan sağa doğru, giriş resmi, piksel etiketlerinin anlamsal resmi ve karşılık gelen güven resmi örnekleri:

Semantik resim örneği

Scene Semantics API ile geliştiriciler, belirli sahne bileşenlerini (ör. yollar ve kaldırımlar) tanımlayarak kullanıcıların bilmedikleri bir şehirde yolunu bulmasına yardımcı olabilir, dinamik nesnelerdeki tıkanmaları oluşturmak için insanları ve araçları, günün herhangi bir saatinde gün batımı oluşturmak için gökyüzünü, binaların görünümünü değiştirmek ve sanal nesneleri sabitlemek için de binaları kullanabilir.

Anlamsal etiketler ve kalite

Scene Semantics API, her biri karşılık gelen bir kaliteye veya güvenilirliğe sahip birden fazla etiket sağlar. Genel olarak makine öğrenimi modeli, daha küçük veya daha nadir nesnelerin/yüzeylerin sınıflarından ziyade daha büyük ve daha yaygın nesnelerin/yüzeylerin sınıflarını daha iyi tahmin edebilir. Sınıflar, yüksekten düşüğe doğru sıralanmış aşağıdaki kalite katmanlarına göre gruplandırılabilir:

Anlamsal etiket kalite katmanları
Ana sahne bileşenleri
  • gökyüzü
  • derleniyor
  • ağaç
  • yol
  • araç
Önemli sahne ayrıntıları
  • kaldırım
  • arazi
  • yapı
  • su
Küçük sahne ayrıntıları
  • nesne
  • kişi

Cihaz uyumluluğu

Scene Semantics API, Depth API ile aynı desteklenen cihazlar listesini paylaşır. Her iki API'yi de destekleyen cihazların güncel listesi için lütfen ARCore destekli cihazlar sayfasına bakın.

Desteklenen kullanım alanları

Scene Semantics API, aşağıdaki senaryolarda kullanılmak üzere tasarlanmıştır:

  1. Açık hava sahneleri: Yalnızca açık hava sahnelerini destekler ve iç mekan kullanım alanları için tasarlanmamıştır.

  2. Dikey yön: Yalnızca cihazın varsayılan yön modunda (ör. dikey) kullanılmalıdır. Anlamsal etiketlerin kalitesi, yatay modda garanti edilmez.