Gesichts-Mesh-Erkennung

Mit der Gesichtserkennungs-API von ML Kit können Sie in Echtzeit-Netzwerkeeinhochpräzises Mesh-Netzwerkmit 468 3D-Punkten für Selfies erstellen. Gesichter sollten sich nicht weiter als 2 m von der Kamera entfernt befinden.

Wenn Gesichter in mehr als 2 m Entfernung von der Kamera erkannt werden sollen, finden Sie weitere Informationen im ML Kit SDK für die Gesichtserkennung.

Hier sind einige der Begriffe, die in Zusammenhang mit der Funktion zur Gesichtserkennung verwendet werden:

  • Der Begrenzungsrahmen ist ein rechteckiger Bereich für ein erkanntes Gesicht.
  • Face Mesh-Info ist eine Gruppe von 468 3D-Punkten und -Kanten, die zum Zeichnen des Geometrienetzes für ein erkanntes Gesicht verwendet werden können.

Die Gesichtserkennungs-API generiert ein Gewebenetz für erkannte Gesichter, die jeweils 468 3D-Punkte und Kanten enthalten. Mit der Funktion „Gesichtserkennung“ können Sie in Echtzeit genauere Vorgänge für Gesichter ausführen, z. B. AR-Filter, Selfieaufnahmen und Videochats.

Android

Hauptmerkmale

  • Gesichter erkennen und finden: Hiermit wird der Begrenzungsrahmen für erkannte Gesichter in einem Selfie-ähnlichen Bild abgerufen.
  • Gesichter des Mesh-Netzwerks abrufen: Für jedes erkannte Gesicht werden die 36-Punkte und 3-Deck-Informationen abgerufen.
  • Videoframes in Echtzeit verarbeiten: Die Mesh-Erkennung von Gesichtern wird auf dem Gerät durchgeführt und ist schnell genug für Echtzeitanwendungen wie die Videobearbeitung.

Beispielergebnisse

Eingabe Ausgabe („Nur Begrenzungsrahmen“) Ausgabe („Face Mesh“-Modus)

Vergleich mit dem ML Kit Gesichtserkennungs-SDK

Gesichtserkennungs-API Gesichtserkennungs-API
Anwendungsfall empfohlen (Beispiele)
  • AR-Effekte für Gesichter im Videostreaming erzeugen
  • Echtzeit-Gesichtserkennung in Selfie-ähnlichen Bildern (Gesicht innerhalb von ca. 2 m)
  • Erkennt, wie viele Gesichter in einem Bild vorhanden sind
  • Gesichter in der Nähe der Kamera erkennen
Latenz Niedrig (~14 ms auf Pixel 3)

Empfohlen für Echtzeit

 Mittel (~60 ms auf Pixel 3, wenn der Schnellmodus aktiviert ist)
Empfohlene Eingabe Gesichter, die im Umkreis von ca. 2 Metern aufgenommen werden Jedes Bild mit Gesichtern
Ausgabe von Gesichtspunkten Für jedes Gesicht 468 3D-Punkte und Dreieckinformationen, wenn der Modus „Gewebenetz“ aktiviert ist. Für jedes Gesicht 133 2D-Punkte, wenn der Modus „Gesichtskontur“ aktiviert ist.
# Gesichter erkannt
  • Modus „Nur Begrenzungsrahmen“: >= 1 Begrenzungsrahmen, wenn sich Gesichter in der Nähe der Kamera befinden (<= ~2 m oder ~ 7 m)
  • Face Mesh-Modus:Maximal zwei Begrenzungsrahmen und Mesh-Netzwerke, solange Gesichter sich in der Nähe der Kamera befinden (etwa 2 Meter entfernt)
  • Begrenzungsrahmenmodus: >= 1; Gesichter können weit von der Kamera entfernt sein, aber die Mindestgröße beträgt 100 × 100 Pixel pro Gesicht
  • Gesichtskonturen: maximal 1, sofern Gesichter in der Nähe der Kamera liegen
Tracking-ID Nein Ja
Gesichtsausrichtung Nein Ja
Gesichtserkennung (z.B. lächeln) Nein Ja
Implementierungsmöglichkeiten Nur gebündelt Gruppiert / Ungruppiert
App-Größe Gebündelt: ca.6,4 MB

Nicht gebündelt: noch nicht verfügbar

 Gebündelt: ca.6,9 MB

Ohne Gruppierung: ~0,6 MB