Hiểu môi trường của người dùng bằng Scene Semantics API

Hướng dẫn dành riêng cho nền tảng

Android (Kotlin/Java)

Android NDK (C)

iOS

Unity (Nền tảng AR)

Ngữ nghĩa cảnh

API Ngữ nghĩa cảnh giúp các nhà phát triển hiểu được cảnh xung quanh người dùng. Điều này cần thiết cho nhiều trải nghiệm thực tế tăng cường chất lượng cao. Được xây dựng trên một mô hình học máy, Scene Semantics API (API Ngữ nghĩa cảnh) cung cấp thông tin ngữ nghĩa theo thời gian thực, bổ sung cho thông tin hình học hiện có trong ARCore.

Với hình ảnh của cảnh ngoài trời, API sẽ trả về một nhãn cho mỗi pixel trên một tập hợp các lớp ngữ nghĩa hữu ích, chẳng hạn như bầu trời, toà nhà, cây cối, đường, vỉa hè, phương tiện di chuyển, người, v.v. Ngoài nhãn pixel, API ngữ nghĩa cảnh cũng cung cấp các giá trị tin cậy cho từng nhãn pixel và một cách dễ sử dụng để truy vấn mức độ phổ biến của một nhãn nhất định trong cảnh ngoài trời.

Từ trái sang phải, ví dụ về hình ảnh đầu vào, hình ảnh ngữ nghĩa của nhãn pixel và hình ảnh độ tin cậy tương ứng:

Ví dụ về hình ảnh ngữ nghĩa

Với Context Semantics API, các nhà phát triển có thể xác định các thành phần cụ thể của cảnh, chẳng hạn như đường và vỉa hè để giúp hướng dẫn người dùng qua một thành phố lạ, mọi người và phương tiện di chuyển để che khuất các đối tượng động, bầu trời để tạo ra cảnh hoàng hôn bất cứ lúc nào trong ngày, cũng như các toà nhà để sửa đổi giao diện và neo vào các đối tượng ảo.

Nhãn ngữ nghĩa và chất lượng

API ngữ nghĩa cảnh cung cấp nhiều nhãn, mỗi nhãn có chất lượng hoặc độ tin cậy tương ứng. Nhìn chung, mô hình học máy có khả năng dự đoán các lớp đối tượng/bề mặt lớn và phổ biến hơn, chính xác hơn so với các lớp đối tượng/bề mặt nhỏ hơn hoặc hiếm gặp hơn. Các lớp có thể được nhóm thành những bậc chất lượng sau, theo thứ hạng từ cao xuống thấp:

Bậc chất lượng nhãn ngữ nghĩa
Các thành phần cảnh chính
  • bầu trời
  • toà nhà
  • cái cây
  • đường
  • xe cộ
Chi tiết cảnh chính
  • vỉa hè
  • địa hình
  • cấu trúc
  • nước
Chi tiết cảnh nhỏ
  • đối tượng
  • người

Khả năng tương thích với thiết bị

Scene Semantics API (API Ngữ nghĩa cảnh) có cùng danh sách các thiết bị được hỗ trợ như Depth API. Vui lòng tham khảo trang Thiết bị được hỗ trợ ARCore để biết danh sách mới nhất về các thiết bị hỗ trợ cả hai API.

Trường hợp sử dụng được hỗ trợ

API Ngữ nghĩa cảnh được thiết kế để sử dụng trong các tình huống sau:

  1. Cảnh ngoài trời: Chỉ hỗ trợ cảnh ngoài trời và không dành cho các trường hợp sử dụng trong nhà.

  2. Hướng dọc: Chỉ nên dùng ở chế độ hướng mặc định của thiết bị (tức là dọc). Chất lượng của nhãn ngữ nghĩa không được đảm bảo cho chế độ ngang.