Benutzerdefinierte Texturen und 3D-Modelle für Augmented Faces erstellen

Zur Implementierung von Augmented Faces benötigen Sie benutzerdefinierte Texturen und Modelle für das Overlay auf identifizierten Flächennetzen. Diese Assets werden von Künstlern im Voraus in 3D-Modellierungs- und Animationssoftware erstellt und als HDFS-Dateien exportiert.

Kanonische Dateien

Die SDKs enthalten eine canonical_face_mesh.fbx- und eine canonical_face_mesh.psd-Datei, mit der Künstler Assets erstellen können, die korrekt über von ARCore erkannte Gesichter eingeblendet werden. Diese Dateien befinden sich im Ordner assets/canonical_face_mesh.fbx.

3D-Modelle mit der FBX-Datei erstellen

Die FBX-Datei enthält die Topologie des Gesichtsnetzes, die UV-Texturkoordinaten und das Gerät, das die unterstützten Gesichtsbereiche definiert, die zum Erstellen und Anhängen von Assets bereitgestellt werden. Um sicherzustellen, dass sie mit ARCore kompatibel sind, sollten Pixelbook-Dateien mit unterstützten Einstellungen gespeichert werden.

Diese Datei enthält eine Referenz-facemesh, die nicht als Teil der endgültigen FBX-Plattform exportiert werden sollte. ARCore generiert und aktualisiert zur Laufzeit ein separates Face Mesh.

2D-Texturen mit der PSD-Datei erstellen

Die Referenztextur des Gesichtsnetzes .psd wird verwendet, um zu sehen, wie eine von einem Künstler erstellte Textur zur Laufzeit mit den Gesichtsmerkmalen eines Nutzers übereinstimmt. Sie besteht aus vier Schichten:

  • Maske:Zeigt an, wo sich Augen, Nasenlöcher und Mund in der Textur befinden.
  • Linien:Richtlinien, die zeigen, wie die Gesichtsmerkmale eines Nutzers während der Laufzeit an einer Textur ausgerichtet sind.
  • UVs:Steht für die Triangulation des Texturnetzes für die 468-Punkte-Fläche.
  • Hintergrund:Eine neutrale graue Hintergrundebene, um die anderen drei Komponenten visuell deutlicher zu machen.

Wenn Sie die PSD-Datei ändern, sollten die Änderungen unmittelbar nach dem Export zu sehen sein.

Kanonisches Face Mesh anpassen

Wenn Modelle und Texturen mit dem im SDK enthaltenen assets/canonical_face_mesh.fbx erstellt werden, sind diese Einstellungen auch beim Exportieren von FBX-Dateien erforderlich:

  • Achten Sie darauf, dass alle benutzerdefinierten Netze über Skins auf die zugehörigen Knochen oder Regionen verfügen.

  • Verwenden Sie die folgende Hierarchie:

    asset
|__root
|   |__NOSE_TIP
|   |__FOREHEAD_RIGHT
|   |__FOREHEAD_LEFT
|__facemesh           <-- for reference
|__                   <-- place additional custom 3D meshes here

  • Exportieren Sie das enthaltene facemesh-Modell nicht. Dieses Mesh-Netzwerk dient nur als Referenz. ARCore erstellt zur Laufzeit ein separates Face Mesh. Verwenden Sie die UVs in facemesh als Referenz, wenn Sie benutzerdefinierte Mesh-Texturen für Flächen erstellen.

  • Platzieren Sie benutzerdefinierte Mesh-Netzwerke als untergeordnete Elemente des Knotens asset.

  • Die Verwendung von Namespaces wird unterstützt.

  • Das Asset enthält vier Knochen mit den Regionen root, NOSE_TIP, FOREHEAD_RIGHT und FOREHEAD_LEFT. Ändern Sie nicht die Namen dieser Knochen.