Hiểu môi trường của người dùng bằng Scene Semantics API

Hướng dẫn dành riêng cho từng nền tảng

Ngữ nghĩa của cảnh

Scene Semantics API giúp nhà phát triển hiểu được cảnh vật xung quanh người dùng, điều cần thiết cho nhiều trải nghiệm thực tế tăng cường chất lượng cao. Được xây dựng dựa trên một mô hình học máy, Scene Semantics API cung cấp thông tin ngữ nghĩa theo thời gian thực, bổ sung cho thông tin hình học hiện có trong ARCore.

Khi nhận được hình ảnh về một cảnh ngoài trời, API sẽ trả về nhãn cho từng pixel trong một tập hợp các lớp ngữ nghĩa hữu ích, chẳng hạn như bầu trời, toà nhà, cây, đường, vỉa hè, xe cộ, người và nhiều lớp khác. Ngoài nhãn pixel, Scene Semantics API còn cung cấp các giá trị độ tin cậy cho từng nhãn pixel và một cách dễ sử dụng để truy vấn mức độ phổ biến của một nhãn nhất định trong cảnh ngoài trời.

Từ trái sang phải, ví dụ về một hình ảnh đầu vào, hình ảnh ngữ nghĩa của nhãn pixel và hình ảnh độ tin cậy tương ứng:

Ví dụ về hình ảnh ngữ nghĩa

Với Scene Semantics API, nhà phát triển có thể xác định các thành phần cụ thể của cảnh, chẳng hạn như đường và vỉa hè để giúp hướng dẫn người dùng đi qua một thành phố xa lạ, người và xe để hiển thị các phần bị che khuất trên các đối tượng động, bầu trời để tạo cảnh hoàng hôn vào bất kỳ thời điểm nào trong ngày và các toà nhà để sửa đổi diện mạo của chúng và neo các đối tượng ảo.

Nhãn ngữ nghĩa và chất lượng

Scene Semantics API cung cấp nhiều nhãn, mỗi nhãn có chất lượng hoặc độ tin cậy tương ứng. Nhìn chung, mô hình học máy có khả năng dự đoán các lớp đối tượng/bề mặt lớn hơn, phổ biến hơn so với các lớp đối tượng/bề mặt nhỏ hơn hoặc hiếm gặp hơn. Các lớp này có thể được nhóm thành các cấp chất lượng sau, được xếp hạng từ cao đến thấp:

Các cấp chất lượng nhãn ngữ nghĩa
Các thành phần chính của cảnh
  • bầu trời
  • toà nhà
  • cái cây
  • đường
  • xe cộ
Thông tin chi tiết về cảnh chính
  • vỉa hè
  • địa hình
  • cấu trúc
  • nước
Chi tiết nhỏ trong cảnh
  • đối tượng
  • người

Khả năng tương thích với thiết bị

Scene Semantics API dùng chung danh sách thiết bị được hỗ trợ với Depth API. Vui lòng tham khảo trang Thiết bị hỗ trợ ARCore để xem danh sách mới nhất về các thiết bị hỗ trợ cả hai API này.

Trường hợp sử dụng được hỗ trợ

Scene Semantics API được thiết kế để sử dụng trong các trường hợp sau:

  1. Cảnh ngoài trời: Chỉ hỗ trợ cảnh ngoài trời và không dành cho các trường hợp sử dụng trong nhà.

  2. Hướng dọc: Chỉ nên dùng ở chế độ hướng mặc định của thiết bị (tức là hướng dọc). Chất lượng của nhãn ngữ nghĩa không được đảm bảo ở chế độ ngang.