ARCore を使用した機械学習

ARCore が機械学習パイプラインでキャプチャしたカメラフィードを使用して、ML Kit と Google Cloud Vision API を使用して現実のオブジェクトを識別し、インテリジェントな拡張現実体験を作成できます。

左側の画像は、ARCore ML Kit サンプルのもので、Android 用 Kotlin で作成されています。このサンプルアプリでは、機械学習モデルを使用してカメラのビュー内のオブジェクトを分類し、仮想シーン内のオブジェクトにラベルを付けます。

ML Kit API は Android と iOS の両方の開発に対応しています。Google Cloud Vision API は REST と RPC の両方のインターフェースを備えているため、Android NDK（C）、iOS、または Unity（AR Foundation）で構築したアプリの ARCore ML Kit サンプルと同じ結果を得ることができます。

実装する必要があるパターンの概要については、機械学習モデルの入力として ARCore を使用するをご覧ください。次に、これらを Android NDK（C）、iOS、Unity（AR Foundation）でビルドしたアプリに適用します。