プラットフォーム固有のガイド
Android（Kotlin/Java）
Android NDK（C）
Unity（AR 基盤）
iOS
Unreal Engine
Augmented Faces API を使用すると、専用のハードウェアを使用せずに、人間の顔の上にアセットをレンダリングできます。検出された顔のさまざまな領域をアプリが自動識別できるようにする特徴点を提供します。アプリはこれらの領域を使用して、個々の顔の輪郭にぴったり合うようにアセットをオーバーレイできます。
ユースケース
顔ベースの AR は、美容やアクセサリーの試着から、友達と一緒に楽しめる顔のフィルターやエフェクトまで、幅広いユースケースを開拓します。たとえば、3D モデルとテクスチャを使用して、キツネの特徴をユーザーの顔に重ねることができます。
モデルは 2 つのキツネの耳とキツネの鼻で構成されます。それぞれが個別のボーンであり、アタッチされている顔の領域に合わせて個別に移動できます。
テクスチャは、目の影やそばかすなどの着色で構成されています。
ランタイム時に Augmented Faces API がユーザーの顔を検出し、テクスチャとモデルの両方をオーバーレイします。
顔の登録部分
Augmented Faces API は、中央ポーズ、3 つのリージョン ポーズ、3D 顔メッシュを提供します。
中央のポーズ
中心のポーズは、鼻の後ろで、ユーザーの頭の中央にあります。これを使用して、帽子などのアセットを頭の上にレンダリングできます。
リージョン ポーズ
左の額、右の額、鼻の先端にある領域のポーズは、ユーザーの顔の重要な部分をマークします。それらを使用して、鼻や耳の周りにアセットをレンダリングします。
顔メッシュ
468 ポイントの高密度 3D フェイス メッシュは、顔にぴったりフィットする柔軟で詳細なテクスチャをペイントできます。たとえば、鼻の特定の部分の背後に仮想眼鏡を重ねることができます。メッシュは十分な数の 3D 情報を収集するため、この仮想画像も簡単にレンダリングできます。
