Руководство разработчика дополненных лиц для Unity

Узнайте, как использовать Augmented Faces в своих приложениях.

Предпосылки

Прежде чем продолжить, убедитесь, что вы понимаете основные концепции AR и как настроить сеанс ARCore .

Предпосылки

  • В этом руководстве предполагается, что вы уже установили и настроили Unity. Если нет, ознакомьтесь с инструкциями по установке и настройке Unity Quickstart для Android .

  • Убедитесь, что у вас есть ресурсы для наложения на лицо.

Создайте и запустите образец приложения

  1. Создайте новый проект в Unity на основе быстрого старта .

  2. В Build Settings > Scenes in Build укажите сцену AugmentedFaces из Assets/GoogleARCore/Examples/AugmentedFaces/Scenes/ .

  3. Убедитесь, что ваше устройство подключено к вашему компьютеру, а затем нажмите « Создать и запустить» . Unity встраивает ваш проект в Android APK, устанавливает его на устройство и запускает.

    Приложение должно открыть переднюю камеру и немедленно начать отслеживать ваше лицо в потоке камеры. Он должен разместить изображения лисьих ушей по обеим сторонам вашего лба, а лисьий нос поместить на ваш собственный нос.

Импорт ресурсов в Unity

Чтобы добавить свои собственные ресурсы, такие как текстуры и 3D-модели, к обнаруженному лицу в вашем приложении, сначала импортируйте ресурсы в Unity.

Обзор реализации Augmented Faces в вашем приложении

Настройте свое приложение для поддержки дополненных лиц

Настройка приложения путем добавления Augmented Faces в сеанс ARCore, настройки сцены и включения фронтальной камеры.

После того, как вы настроите свое приложение для поддержки дополненных лиц, оно автоматически создаст расширенную сетку лица из первого обнаруженного лица для каждой сцены.

  1. В Unity создайте новую конфигурацию сеанса для приложения ARCore ( Assets > Create > Google ARCore > SessionConfig ).

  2. В Инспекторе для актива конфигурации сеанса ARCore установите Augmented Face Mode на Mesh .

  3. Создайте и настройте сеанс ARCore для поддержки расширенных лиц следующим образом:

    1. В папке Assets перейдите в Prefab и перетащите ARCore Device на сцену.
    2. Замените существующую конфигурацию сеанса новой, импортированной ранее.
    3. В Инспекторе установите для параметра Device Camera Direction значение Front .

Ориентация лицевой сетки

Обратите внимание на ориентацию сетки лица для Unity:

Прикрепите текстуру к сетке лица

При присоединении текстуры к сетке лица приложение накладывает и привязывает текстуру к идентифицированным вершинам и поверхности лица.

  1. Импортируйте текстуру в Unity.
  2. Создайте новый пустой GameObject .
  3. В GameObject добавьте новый компонент ARCoreAugmentedFaceMeshFilter из примера ARFaces в SDK. Совет для профессионалов: в окне проекта в Unity найдите ARCoreAugmentedFaceMeshFilter , чтобы найти его.
  4. Чтобы активы автоматически привязывались к дополненной сетке лица в GameObject, выберите Auto Bind .
  5. Добавьте визуализатор сетки.
  6. Создайте материал, который использует текстуру, которую вы хотите прикрепить к лицу.
  7. Добавьте материал в визуализатор.

Прикрепите модель к области на лице

Выполните следующие шаги, чтобы поместить корень скелета в корень центральной позы лица. Это также автоматически обновляет три области, чтобы они соответствовали сетке лица.

  1. Импортируйте 3D-модель в Unity.
  2. Добавьте его на сцену.
  3. Добавьте буровую установку. В этом случае вы должны увидеть регионы (например, FOREHEAD_LEFT ).
  4. Щелкните Добавить компонент и выберите компонент типа AR Core Augmented Face Rig из примера ARFaces в SDK.
  5. Выберите параметр « Автоматическая привязка ». Это автоматически привязывает модель к областям лица.