Aggiungere dati personalizzati durante la registrazione su Android

L'API Recording & Playback consente di registrare una sessione e utilizzarla al posto del feed della videocamera in tempo reale. Tuttavia, queste registrazioni contengono solo dati video e dei sensori. Puoi anche aggiungere dati personalizzati alla registrazione di una sessione e farti restituire i dati durante la riproduzione, come se fossero parte dell'immagine di una videocamera.

ARCore non include automaticamente dati personalizzati nelle registrazioni. Consente invece di aggiungere dati personalizzati a un fotogramma ARCore durante la registrazione e recuperare gli stessi dati dal fotogramma durante la riproduzione. È tua responsabilità programmare l'app in modo che l'utente possa recuperare i dati che si aspetta quando riproduce la sessione.

Casi d'uso per i dati personalizzati

L'aggiunta di dati personalizzati alle registrazioni amplia le possibilità per le tue app AR. Di seguito sono riportati alcuni casi d'uso specifici.

Usa l'AR ovunque ti trovi

In passato, gli utenti potevano accedere alle esperienze AR solo nel posto giusto e al momento giusto. Se volevano posizionare una lampada AR nel salotto, dovevano stare fisicamente nel luogo per vedere come potrebbe apparire la lampada lì. Grazie alle tracce personalizzate, possono registrare una volta sola in salotto e aggiungere mobili virtuali alla scena ogni volta che ne hanno voglia.

Crea esperienze AR in collaborazione

Senza un requisito di sessione dal vivo, gli utenti hanno molte più opzioni per la modifica AR, che consentono loro di creare e accedere a contenuti AR unici in qualsiasi luogo e momento. Ad esempio, possono registrare un determinato ambiente, aggiungere effetti di realtà aumentata e condividerli con gli amici.

Prerequisiti

Assicurati di aver compreso i concetti fondamentali di AR e di configurare una sessione ARCore prima di procedere.

Registra con dati personalizzati

Crea una registrazione della sessione con dati personalizzati.

Inizializzare una registrazione con dati personalizzati

Segui questi passaggi per inizializzare una registrazione con dati personalizzati. Per avviare, interrompere e controllare una sessione di registrazione, consulta Registrare e riprodurre una sessione AR.

  1. Ottieni una RecordingConfig.
  2. Crea una nuova Track con un UUID personalizzato. Tutti i dati personalizzati verranno salvati qui.
  3. Aggiungi Track alla RecordingConfig che hai creato durante la configurazione della sessione.

Java

// Initialize a new track with a custom UUID.
// Make sure to save the UUID because it is the ID that you will use
// to get your data back during playback.
UUID trackUUID = UUID.fromString("de5ec7a4-09ec-4c48-b2c3-a98b66e71893"); // from UUID generator
Track track = new Track(session).setId(trackUUID);

// Add the Track to the recordingConfig.
// recordingConfig must already be configured.
recordingConfig.addTrack(track);

Kotlin

// Initialize a new track with a custom UUID.
// Make sure to save the UUID because it is the ID that you will use
// to get your data back during playback.
val trackUUID = UUID.fromString("de5ec7a4-09ec-4c48-b2c3-a98b66e71893") // from UUID generator
val track = Track(session).setId(trackUUID)

// Add the Track to the recordingConfig.
// recordingConfig must already be configured.
recordingConfig.addTrack(track)

Tutte le nuove tracce vengono trattate come registrazioni separate e ciascuna traccia registrata occupa il proprio UUID.

(Facoltativo) Configurare il canale con dati aggiuntivi

Se vuoi identificare il canale in un secondo momento, puoi configurare un canale con dati aggiuntivi che descrivano la registrazione della sessione. Ad esempio, puoi "taggare" un percorso aggiungendo una nota che descriva il luogo e l'ora in cui hai registrato la sessione: "Questa sessione è stata registrata al centro commerciale di pomeriggio".

Java

// Set additional data on this track.
// For example, describe where you recorded the session.
byte[] customTrackData = "airport".getBytes(StandardCharsets.UTF_8);
track.setMetadata(ByteBuffer.wrap(customTrackData));

Kotlin

// Set additional data on this track.
// For example, describe where you recorded the session.
val customTrackData: ByteArray = "airport".toByteArray()
track.setMetadata(ByteBuffer.wrap(customTrackData))

(Facoltativo) Configurare la traccia con un tipo MIME

Se la tua app deve essere compatibile con strumenti esterni, puoi configurare un canale con un tipo MIME che descriva il tipo di dati registrati nel canale. Se non specifichi un tipo, i dati verranno classificati come application/text. ARCore ignora il tipo MIME durante la lettura dei dati.

Java

// Set a MIME type for compatibility with external tools.
track.setMimeType("text/csv");

Kotlin

// Set a MIME type for compatibility with external tools.
track.setMimeType("text/csv")

Registra tracce di dati personalizzate

Tutti i dati dei percorsi personalizzati vengono registrati nei Frame. Le sessioni AR utilizzano session.update() per ottenere un frame. Il momento in cui registri i dati su un frame corrisponde al momento in cui i dati verranno restituiti durante la riproduzione. Ad esempio, se chiami recordTrackData() con il valore "A" a 00:07:02, riceverai di nuovo "A" al punto 00:07:02 quando la traccia viene riprodotta.

Per registrare una traccia dati personalizzata, converti i dati in un file ByteBuffer e chiama recordTrackData().

Java

// Place an AR lamp in a room.
if (placeLampButtonWasPressed) {
  Lamp lampProduct = Lamp.FLOOR; // a floor lamp
  // Convert the lamp data into a byte array.
  ByteBuffer lampData = ByteBuffer.wrap(new byte[] {(byte) lampProduct.ordinal()});
  frame.recordTrackData(trackUUID, lampData);
}

Kotlin

// Place an AR lamp in a room.
if (placeLampButtonWasPressed) {
  val lampProduct = Lamp.FLOOR // a floor lamp
  // Convert the lamp data into a byte array.
  val lampData = ByteBuffer.wrap(byteArrayOf(lampProduct.ordinal.toByte()))
  frame.recordTrackData(trackUUID, lampData)
}

Riprodurre le tracce di dati personalizzate

Estrai dati personalizzati dalla registrazione di una sessione durante la riproduzione.

Inizializzare una riproduzione

Iniziare una riproduzione con dati personalizzati equivale ad iniziare una riproduzione di una normale registrazione di una sessione.

Restituisci dati personalizzati

Chiama getUpdatedTrackData() per recuperare i dati personalizzati registrati su un frame. È possibile recuperare più dati di tracciamento dallo stesso frame. Ad esempio, se durante la registrazione hai chiamato recordTrackData() due volte sullo stesso fotogramma, riceverai due istanze di TrackData durante la riproduzione.

Java

// Fetch the data recorded on a select frame and place it in a container object.
Collection<TrackData> trackDataList = frame.getUpdatedTrackData(trackUUID);

Kotlin

// Fetch the data recorded on a select frame and place it in a container object.
val trackDataList: Collection<TrackData> = frame.getUpdatedTrackData(trackUUID)

Quando TrackData si trova in un oggetto container, estrai i byte dei dati personalizzati.

Java

// Extract the bytes of custom data from the list of track data.
for (TrackData trackData : trackDataList) {
  ByteBuffer bytes = trackData.getData();
  Lamp lamp = Lamp.values()[bytes.get()]; // this is the lamp!
}

Kotlin

// Extract the bytes of custom data from the list of track data.
for (trackData in trackDataList) {
  val bytes = trackData.data
  val lamp = Lamp.values()[bytes.get().toInt()] // this is the lamp!
}

Passaggio successivo