Создание пользовательских текстур и 3D-моделей для Augmented Faces

Чтобы реализовать Augmented Faces, вам нужны настраиваемые текстуры и модели для наложения на идентифицированные сетки лиц. Эти активы создаются художниками заранее в программном обеспечении для 3D-моделирования и анимации и экспортируются в виде файлов *.fbx .

SDK Sceneform для Android поставляется с файлом canonical_face_mesh.fbx и файлом canonical_face_mesh.psd , которые помогают художникам создавать ресурсы, которые будут правильно накладываться на лица, обнаруженные ARCore. Эти файлы можно найти в папке с assets .

Использование файла *.fbx для создания ассетов

Файл *.fbx содержит топологию сетки лица, координаты UV-текстуры и оснастку, которые определяют поддерживаемые области лица, предназначенные для создания и прикрепления ресурсов. Чтобы обеспечить совместимость с ARCore, файлы *.fbx .fbx следует сохранять с поддерживаемыми настройками. Затем вы можете импортировать эти файлы в свой проект как файлы *.sfb .

Этот файл содержит эталонную facemesh , которую не следует экспортировать как часть финального *.fbx . ARCore создаст и обновит отдельную сетку лица во время выполнения.

Использование файла *.psd для создания ресурсов

Эталонная текстура сетки лица в формате .psd используется, чтобы увидеть, как текстура, созданная художником, соответствует чертам лица пользователя во время выполнения. Он включает в себя четыре слоя:

  • Маска: показывает, где на текстуре расположены глаза, ноздри и рот.
  • Линии: рекомендации, которые показывают, как черты лица пользователя совпадают с текстурой во время выполнения.
  • UVs: Представляет триангуляцию 468-точечной сетки текстуры лица.
  • Фон: нейтральный серый фоновый слой, чтобы сделать остальные три компонента визуально четкими.

Если вы измените файл *.psd , вы должны увидеть свои изменения сразу после экспорта.

Формат активов FBX и требования

Мы рекомендуем и поддерживаем следующие параметры для файлов *.fbx , экспортируемых из программного обеспечения для моделирования и анимации.

  • Формат файла: FBX 2016/2017 или более поздняя версия.

  • Преобразование оси: вверх по оси Y

  • Масштабный коэффициент: сантиметры

  • Требуемые настройки геометрии:

    • Группы сглаживания
    • Гладкая сетка
    • Содержимое ссылочного актива

  • Рекомендуемые настройки геометрии:

    • Тангенсы и бинормали
    • треугольник
    • NURBS

  • Анимация: включена

  • Настройки деформированных моделей:

    • Деформированные модели
    • Скины

Настройка канонической сетки лица

Если модели и текстуры создаются с помощью assets/canonical_face_mesh.fbx , включенного в SDK, эти настройки также необходимы при экспорте файлов *.fbx :

  • Убедитесь, что любые пользовательские сетки привязаны к связанным с ними костям или областям.

  • Используйте следующую иерархию:

    asset
|__root
|   |__NOSE_TIP
|   |__FOREHEAD_RIGHT
|   |__FOREHEAD_LEFT
|__facemesh           <-- for reference
|__                   <-- place additional custom 3D meshes here

  • Не экспортируйте включенную модель facemesh . Эта сетка только для справки. ARCore создаст отдельную сетку лица во время выполнения. Используйте facemesh в сетке лица в качестве эталона при создании пользовательских текстур сетки лица.

  • Поместите пользовательские сетки в качестве дочерних элементов узла asset .

  • Поддерживается использование пространств имен.

  • Актив содержит четыре кости, состоящие из root и трех областей: NOSE_TIP , FOREHEAD_RIGHT и FOREHEAD_LEFT . Не меняйте названия этих костей.