Руководства для конкретных платформ
Android (Kotlin/Java)
Android NDK (C)
iOS
Unity (AR Foundation)
API семантики сцены позволяет разработчикам понимать сцену, окружающую пользователя, что необходимо для многих высококачественных приложений дополненной реальности. Созданный на основе модели машинного обучения, API семантики сцены предоставляет семантическую информацию в реальном времени, дополняя существующую геометрическую информацию в ARCore.
Получив изображение сцены на открытом воздухе, API возвращает метку для каждого пикселя, относящуюся к набору полезных семантических классов, таких как небо, здание, дерево, дорога, тротуар, транспортное средство, человек и другие. Помимо меток пикселей, API семантики сцены также предоставляет значения достоверности для каждой метки пикселя и простой способ запроса распространенности данной метки в сцене на открытом воздухе.
Слева направо представлены примеры входного изображения, семантического изображения меток пикселей и соответствующего изображения достоверности:
С помощью API семантики сцены разработчики могут идентифицировать конкретные компоненты сцены, такие как дороги и тротуары, чтобы помочь пользователю ориентироваться в незнакомом городе, людей и транспортные средства для отображения окклюзий на динамических объектах, небо для создания заката в любое время суток, а также здания для изменения их внешнего вида и привязки виртуальных объектов.
Семантические метки и качество
API семантики сцены предоставляет множество меток, каждая из которых соответствует качеству или надежности. Как правило, модель машинного обучения лучше предсказывает классы более крупных и распространенных объектов/поверхностей, чем классы более мелких или редких объектов/поверхностей. Классы можно сгруппировать по следующим уровням качества, ранжированным от более высокого к более низкому:
| Уровни качества семантических меток | |
|---|---|
| Основные компоненты сцены |
|
| Основные детали сцены |
|
| Мелкие детали сцены |
|
Совместимость устройств
API семантики сцены использует тот же список поддерживаемых устройств, что и API глубины. Актуальный список устройств, поддерживающих оба API, см. на странице поддерживаемых устройств ARCore .
Поддерживаемые варианты использования
API семантики сцен предназначен для использования в следующих сценариях:
Сценарии для использования на открытом воздухе : Поддерживаются только сценарии для использования на открытом воздухе и не предназначены для использования в помещениях.
Портретная ориентация : следует использовать только в режиме ориентации устройства по умолчанию (т.е. портретном). Качество семантических меток в альбомном режиме не гарантируется.