顔を拡張した機能の概要

プラットフォーム固有のガイド

拡張顔面 API を使用すると、専用のハードウェアを使用せずに、人物の顔の上にアセットをレンダリングできます。この API は、検出された顔のさまざまな領域をアプリが自動的に識別できるようにする特徴点を提供します。アプリはこれらの領域を使用して、個々の顔の輪郭に適切に一致するようにアセットを重ね合わせることができます。

ユースケース

顔ベースの AR は、美容やアクセサリーのバーチャル試着から、ユーザーが友達と楽しめる顔のフィルタやエフェクトまで、幅広いユースケースに対応できます。たとえば、3D モデルとテクスチャを使用して、キツネの顔の特徴をユーザーの顔に重ね合わせることができます。

モデルは、2 つのキツネの耳とキツネの鼻で構成されています。それぞれが独立した ボーン で、取り付けられている顔の領域に合わせて個別に移動できます。

テクスチャは、アイシャドウ、そばかす、その他の色で構成されています。

実行時に、拡張顔面 API はユーザーの顔を検出し、テクスチャとモデルの両方を重ね合わせます。

拡張顔面の構成要素

拡張顔面 API は、中心ポーズ、3 つのリージョン ポーズ、3D 顔面メッシュを提供します。

中心ポーズ

鼻の後ろにある中心ポーズは、ユーザーの頭の中央を示します。これを使用して、帽子などのアセットを頭の上にレンダリングします。

リージョン ポーズ

左の額、右の額、鼻の先端にある領域ポーズは、ユーザーの顔の重要な部分を示します。これらを使用して、鼻や耳の周りにアセットをレンダリングします。

顔面メッシュ

468 ポイントの密な 3D 顔面メッシュを使用すると、顔に正確に追従する適応可能な詳細なテクスチャを描画できます。たとえば、鼻の特定の部分の後ろに仮想メガネを重ねる場合などです。メッシュは、この仮想画像を簡単にレンダリングできる十分な詳細な 3D 情報を提供します。