Android で録画中にカスタムデータを追加する

Recording & Playback API を使用すると、セッションを録画して、リアルタイムのカメラフィードの代わりに使用できます。ただし、これらの記録には動画とセンサーデータのみが含まれます。また、セッションの録音にカスタムデータを追加して、あたかもカメラ画像の一部であるかのように、再生中にそのデータを返すこともできます。

ARCore では、録画にカスタムデータが自動的に含まれることはありません。むしろ、録画中に ARCore フレームにカスタムデータを追加し、再生中にフレームから同じデータを取得できます。セッションを再生したときに、ユーザーが期待するデータを返すようにアプリをプログラミングするかどうかは、デベロッパー次第です。

カスタムデータのユースケース

録画にカスタムデータを追加すると、AR アプリの可能性が広がります。具体的なユースケースは次のとおりです。

外出先で AR を活用

これまでは、ユーザーが AR エクスペリエンスにアクセスできるのは適切な場所とタイミングでのみでした。AR ランプをリビングルームに設置する場合は、実際にその場所に立ってランプがどのように表示されるかを確認する必要があります。カスタム トラックでは、リビングルームを 1 回録画して、いつでもバーチャルな家具を追加することが可能です。

AR エクスペリエンスを共同作成

ライブ セッションが不要な場合、ユーザーは AR 編集の選択肢が多くなり、いつでもどこでも独自の AR コンテンツを作成してアクセスできます。たとえば、特定の環境を録画したり、拡張現実効果を追加したり、友人と共有したりできます。

前提条件

続行する前に、AR の基本的なコンセプトと ARCore セッションを構成する方法を理解しておいてください。

カスタムデータで記録する

カスタムデータでセッションの録音を作成します。

カスタムデータで記録を初期化する

カスタムデータを使用して記録を初期化する手順は次のとおりです。録画セッションの開始、停止、確認については、AR セッションを録画、再生するをご覧ください。

1. RecordingConfig を取得します。
2. カスタム UUID を使用して新しい Track を作成します。すべてのカスタムデータはここに保存されます。
3. セッション設定時に作成した RecordingConfig に Track を追加します。

Java

// Initialize a new track with a custom UUID.
// Make sure to save the UUID because it is the ID that you will use
// to get your data back during playback.
UUID trackUUID = UUID.fromString("de5ec7a4-09ec-4c48-b2c3-a98b66e71893"); // from UUID generator
Track track = new Track(session).setId(trackUUID);

// Add the Track to the recordingConfig.
// recordingConfig must already be configured.
recordingConfig.addTrack(track);

Kotlin

// Initialize a new track with a custom UUID.
// Make sure to save the UUID because it is the ID that you will use
// to get your data back during playback.
val trackUUID = UUID.fromString("de5ec7a4-09ec-4c48-b2c3-a98b66e71893") // from UUID generator
val track = Track(session).setId(trackUUID)

// Add the Track to the recordingConfig.
// recordingConfig must already be configured.
recordingConfig.addTrack(track)

新しいトラックはすべて個別の録音として扱われ、録音された各トラックは固有の UUID を占有します。

省略可: 追加データを使用してトラックを設定する

後で確認できるように、セッションの録音を説明する追加データを含むトラックを設定できます。たとえば、「このセッションは午後にショッピング モールで録画されました」のように、セッションの録画場所と時間を説明するメモを追加して、トラックに「タグ付け」できます。

Java

// Set additional data on this track.
// For example, describe where you recorded the session.
byte[] customTrackData = "airport".getBytes(StandardCharsets.UTF_8);
track.setMetadata(ByteBuffer.wrap(customTrackData));

Kotlin

// Set additional data on this track.
// For example, describe where you recorded the session.
val customTrackData: ByteArray = "airport".toByteArray()
track.setMetadata(ByteBuffer.wrap(customTrackData))

省略可: MIME タイプを指定してトラックを設定する

アプリが外部ツールに対応する必要がある場合は、トラックに記録されるデータの種類を表す MIME タイプを使用してトラックを設定できます。タイプを指定しない場合、データは application/text に分類されます。ARCore は、データを読み取るときに MIME タイプを無視します。

Java

// Set a MIME type for compatibility with external tools.
track.setMimeType("text/csv");

Kotlin

// Set a MIME type for compatibility with external tools.
track.setMimeType("text/csv")

カスタム データ トラックの記録

すべてのカスタム トラック データは Frame に記録されます。AR セッションは、session.update() を使用してフレームを取得します。データをフレームに記録した時刻は、再生中にデータが返される時刻です。たとえば、00:07:02 で値「A」を指定して recordTrackData() を呼び出した場合、トラックの再生時に 00:07:02 のマークで「A」が返されます。

カスタムデータトラックを記録するには、データを ByteBuffer に変換し、recordTrackData() を呼び出します。

Java

// Place an AR lamp in a room.
if (placeLampButtonWasPressed) {
  Lamp lampProduct = Lamp.FLOOR; // a floor lamp
  // Convert the lamp data into a byte array.
  ByteBuffer lampData = ByteBuffer.wrap(new byte[] {(byte) lampProduct.ordinal()});
  frame.recordTrackData(trackUUID, lampData);
}

Kotlin

// Place an AR lamp in a room.
if (placeLampButtonWasPressed) {
  val lampProduct = Lamp.FLOOR // a floor lamp
  // Convert the lamp data into a byte array.
  val lampData = ByteBuffer.wrap(byteArrayOf(lampProduct.ordinal.toByte()))
  frame.recordTrackData(trackUUID, lampData)
}

カスタムデータ トラックの再生

再生中にセッションの録音からカスタムデータを抽出します。

再生を初期化する

カスタムデータを使用した再生の初期化は、通常のセッション録音の再生の初期化と同じです。

カスタムデータを返す

getUpdatedTrackData() を呼び出して、フレームに記録されたカスタムデータを取得します。同じフレームから複数のトラックデータを取得することもできます。たとえば、録画中に同じフレームで recordTrackData() を 2 回呼び出すと、再生中に TrackData のインスタンスが 2 回返されます。

Java

// Fetch the data recorded on a select frame and place it in a container object.
Collection<TrackData> trackDataList = frame.getUpdatedTrackData(trackUUID);

Kotlin

// Fetch the data recorded on a select frame and place it in a container object.
val trackDataList: Collection<TrackData> = frame.getUpdatedTrackData(trackUUID)

TrackData がコンテナ オブジェクトに取り込まれたら、カスタムデータのバイトを抽出します。

Java

// Extract the bytes of custom data from the list of track data.
for (TrackData trackData : trackDataList) {
  ByteBuffer bytes = trackData.getData();
  Lamp lamp = Lamp.values()[bytes.get()]; // this is the lamp!
}

Kotlin

// Extract the bytes of custom data from the list of track data.
for (trackData in trackDataList) {
  val bytes = trackData.data
  val lamp = Lamp.values()[bytes.get().toInt()] // this is the lamp!
}

次のステップ

• 録画と再生の Codelab で、録画と再生機能を使用して独自のアプリを作成する方法を学習します。