Общий доступ к камере с помощью ARCore

В этом руководстве для разработчиков подробно описано, как настроить ваше приложение на плавное переключение между эксклюзивным управлением камерой через Android Camera2 API и предоставлением доступа к камере через ARCore.

В этой теме предполагается, что вы:

• Завершили краткий курс по ARCore.

• Знакомы с API Camera2 для Android (подробнее см. в примере Camera2 для Android )

Соберите и запустите демонстрационное приложение.

При сборке и запуске демонстрационного Java-приложения Shared Camera создается сессия ARCore, поддерживающая общий доступ к камере. Приложение запускается в режиме без дополненной реальности, при этом ARCore приостановлен.

Когда приложение работает в режиме без дополненной реальности, в окне просмотра камеры отображается эффект сепии. При переключении в режим дополненной реальности эффект сепии отключается, поскольку приложение возвращает управление камерой в ARCore, возобновляя приостановленную сессию.

В приложении можно использовать переключатель AR для смены режимов. В режиме предварительного просмотра в обоих режимах отображается количество непрерывных кадров, захваченных камерой Camera2.

Чтобы собрать и запустить демонстрационное Java-приложение для совместной работы с камерой:

1. Загрузите и распакуйте Google ARCore SDK для Android .

2. Откройте проект samples/shared_camera_java .

3. Убедитесь, что ваше устройство Android подключено к компьютеру разработчика через USB. Подробную информацию см. в разделе « Поддерживаемые устройства ARCore».

4. В Android Studio нажмите кнопку Run .

5. Выберите ваше устройство в качестве целевого объекта развертывания и нажмите OK , чтобы запустить демонстрационное приложение на вашем устройстве.

6. На устройстве подтвердите, что вы хотите разрешить приложению делать фотографии и записывать видео.

7. При появлении соответствующего запроса обновите или установите последнюю версию ARCore.
   

8. Используйте переключатель AR для переключения между режимами без дополненной реальности и с дополненной реальностью.

Обзор способов предоставления приложению возможности совместного доступа к камере с ARCore.

Выполните следующие шаги, чтобы реализовать общий доступ к камере с помощью ARCore в вашем приложении. Все фрагменты кода доступны в файле SharedCameraActivity.java в примере shared_camera_java .

Запросить разрешение на CAMERA

Для использования камеры устройства пользователь должен предоставить вашему приложению разрешение на доступ CAMERA ). Примеры ARCore включают в себя CameraPermissionHelper , который предоставляет утилиты для запроса необходимого разрешения для вашего приложения.

Java

protected void onResume() {
  // Request the camera permission, if necessary.
  if (!CameraPermissionHelper.hasCameraPermission(this)) {
      CameraPermissionHelper.requestCameraPermission(this);
  }
}

Котлин

override fun onResume() {
  // Request the camera permission, if necessary.
  if (!CameraPermissionHelper.hasCameraPermission(this)) {
    CameraPermissionHelper.requestCameraPermission(this)
  }
}

Убедитесь, что ARCore установлен и обновлен до последней версии.

Для использования ARCore необходимо установить и обновить его до последней версии. В следующем фрагменте кода показано, как запросить установку ARCore, если он еще не установлен на устройстве.

Java

boolean isARCoreSupportedAndUpToDate() {
  // Make sure that ARCore is installed and supported on this device.
  ArCoreApk.Availability availability = ArCoreApk.getInstance().checkAvailability(this);
  switch (availability) {
    case SUPPORTED_INSTALLED:
      return true;

    case SUPPORTED_APK_TOO_OLD:
    case SUPPORTED_NOT_INSTALLED:
        // Requests an ARCore installation or updates ARCore if needed.
        ArCoreApk.InstallStatus installStatus = ArCoreApk.getInstance().requestInstall(this, userRequestedInstall);
        switch (installStatus) {
          case INSTALL_REQUESTED:
            return false;
          case INSTALLED:
            return true;
        }
      return false;

    default:
      // Handle the error. For example, show the user a snackbar that tells them
      // ARCore is not supported on their device.
      return false;
  }
}

Котлин

// Determine ARCore installation status.
// Requests an ARCore installation or updates ARCore if needed.
fun isARCoreSupportedAndUpToDate(): Boolean {
  when (ArCoreApk.getInstance().checkAvailability(this)) {
    Availability.SUPPORTED_INSTALLED -> return true

    Availability.SUPPORTED_APK_TOO_OLD,
    Availability.SUPPORTED_NOT_INSTALLED -> {
      when(ArCoreApk.getInstance().requestInstall(this, userRequestedInstall)) {
        InstallStatus.INSTALLED -> return true
        else -> return false
      }
    }

    else -> {
      // Handle the error. For example, show the user a snackbar that tells them
      // ARCore is not supported on their device.
      return false
    }
  }
}

Создайте сессию ARCore, поддерживающую совместное использование камеры.

Это включает в себя создание сессии и сохранение ссылки и идентификатора общей камеры ARCore:

Java

// Create an ARCore session that supports camera sharing.
sharedSession = new Session(this, EnumSet.of(Session.Feature.SHARED_CAMERA))

// Store the ARCore shared camera reference.
sharedCamera = sharedSession.getSharedCamera();

// Store the ID of the camera that ARCore uses.
cameraId = sharedSession.getCameraConfig().getCameraId();

Котлин

// Create an ARCore session that supports camera sharing.
sharedSession = Session(this, EnumSet.of(Session.Feature.SHARED_CAMERA))

// Store the ARCore shared camera reference.
sharedCamera = sharedSession.sharedCamera

// Store the ID of the camera that ARCore uses.
cameraId = sharedSession.cameraConfig.cameraId

(Необязательно) Сообщите ARCore о любых нестандартных поверхностях.

Запрос дополнительных пользовательских поверхностей увеличивает требования к производительности устройства. Чтобы убедиться в его хорошей работе, протестируйте приложение на устройствах, которые будут использовать ваши пользователи.

По умолчанию ARCore запрашивает два потока:

1. 1 поток YUV для ЦП , в настоящее время всегда 640x480 .
   ARCore использует этот поток для отслеживания движений .
2. Поток данных с использованием одного графического процессора , обычно 1920x1080
   Используйте Session#getCameraConfig() для определения текущего разрешения видеопотока на графическом процессоре.

Вы можете изменить разрешение видеопотока, передаваемого графическим процессором, на поддерживаемых устройствах, используя getSupportedCameraConfigs() и setCameraConfig() .

В качестве приблизительного ориентира можно ожидать следующее:

Тип устройства	Поддержка одновременных потоков
телефоны высокого класса	2 потока YUV для ЦП , например, 640x480 и 1920x1080 1 поток GPU , например, 1920x1080 1x периодическое фото высокого разрешения (JPEG), например, 12MP
Телефоны среднего ценового сегмента	2 потока YUV для ЦП , например, 640x480 и 1920x1080 1 поток GPU , например, 1920x1080 -или- 1 поток YUV для ЦП , например, 640x480 или 1920x1080 1 поток GPU , например, 1920x1080 1x периодическое фото высокого разрешения (JPEG), например, 12MP

Чтобы использовать пользовательские поверхности, например, поверхность для чтения изображений с ЦП, убедитесь, что вы добавили ее в список поверхностей, которые необходимо обновить (например, ImageReader ).

Java

sharedCamera.">setAppSurfaces(this.cameraId, Arrays.asList(imageReader.getSurface()));

Котлин

sharedCamera.">setAppSurfaces(this.cameraId, listOf(imageReader.surface))

Откройте камеру

Откройте камеру, используя функцию обратного вызова, обернутую в ARCore:

Java

// Wrap the callback in a shared camera callback.
CameraDevice.StateCallback wrappedCallback =
    sharedCamera.createARDeviceStateCallback(cameraDeviceCallback, backgroundHandler);

// Store a reference to the camera system service.
cameraManager = (CameraManager) this.getSystemService(Context.CAMERA_SERVICE);

// Open the camera device using the ARCore wrapped callback.
cameraManager.openCamera(cameraId, wrappedCallback, backgroundHandler);

Котлин

// Wrap the callback in a shared camera callback.
val wrappedCallback = sharedCamera.createARDeviceStateCallback(cameraDeviceCallback, backgroundHandler)

// Store a reference to the camera system service.
val cameraManager = this.getSystemService(Context.CAMERA_SERVICE) as CameraManager

// Open the camera device using the ARCore wrapped callback.
cameraManager.openCamera(cameraId, wrappedCallback, backgroundHandler)

Используйте функцию обратного вызова состояния камеры.

В функции обратного вызова состояния камеры сохраните ссылку на устройство камеры и запустите новую сессию захвата.

Java

public void onOpened(@NonNull CameraDevice cameraDevice) {
    Log.d(TAG, "Camera device ID " + cameraDevice.getId() + " opened.");
    SharedCameraActivity.this.cameraDevice = cameraDevice;
    createCameraPreviewSession();
}

Котлин

fun onOpened(cameraDevice: CameraDevice) {
  Log.d(TAG, "Camera device ID " + cameraDevice.id + " opened.")
  this.cameraDevice = cameraDevice
  createCameraPreviewSession()
}

Создать новую сессию захвата

Создайте новый запрос на захват данных. Используйте TEMPLATE_RECORD , чтобы убедиться в совместимости запроса с ARCore и обеспечить плавное переключение между режимами без дополненной реальности и с дополненной реальностью во время выполнения.

Java

void createCameraPreviewSession() {
  try {
    // Create an ARCore-compatible capture request using `TEMPLATE_RECORD`.
    previewCaptureRequestBuilder =
        cameraDevice.createCaptureRequest(CameraDevice.TEMPLATE_RECORD);

    // Build a list of surfaces, starting with ARCore provided surfaces.
    List<Surface> surfaceList = sharedCamera.getArCoreSurfaces();

    // (Optional) Add a CPU image reader surface.
    surfaceList.add(cpuImageReader.getSurface());

    // The list should now contain three surfaces:
    // 0. sharedCamera.getSurfaceTexture()
    // 1. …
    // 2. cpuImageReader.getSurface()

    // Add ARCore surfaces and CPU image surface targets.
    for (Surface surface : surfaceList) {
      previewCaptureRequestBuilder.addTarget(surface);
    }

    // Wrap our callback in a shared camera callback.
    CameraCaptureSession.StateCallback wrappedCallback =
        sharedCamera.createARSessionStateCallback(cameraSessionStateCallback, backgroundHandler);

    // Create a camera capture session for camera preview using an ARCore wrapped callback.
    cameraDevice.createCaptureSession(surfaceList, wrappedCallback, backgroundHandler);
  } catch (CameraAccessException e) {
    Log.e(TAG, "CameraAccessException", e);
  }
}

Котлин

fun createCameraPreviewSession() {
  try {
    // Create an ARCore-compatible capture request using `TEMPLATE_RECORD`.
    previewCaptureRequestBuilder = cameraDevice.createCaptureRequest(CameraDevice.TEMPLATE_RECORD)

    // Build a list of surfaces, starting with ARCore provided surfaces.
    val surfaceList: MutableList<Surface> = sharedCamera.arCoreSurfaces

    // (Optional) Add a CPU image reader surface.
    surfaceList.add(cpuImageReader.getSurface())

    // The list should now contain three surfaces:
    // 0. sharedCamera.getSurfaceTexture()
    // 1. …
    // 2. cpuImageReader.getSurface()

    // Add ARCore surfaces and CPU image surface targets.
    for (surface in surfaceList) {
      previewCaptureRequestBuilder.addTarget(surface)
    }

    // Wrap the callback in a shared camera callback.
    val wrappedCallback = sharedCamera.createARSessionStateCallback(cameraSessionStateCallback, backgroundHandler)

    // Create a camera capture session for camera preview using an ARCore wrapped callback.
    cameraDevice.createCaptureSession(surfaceList, wrappedCallback, backgroundHandler)
  } catch (e: CameraAccessException) {
    Log.e(TAG, "CameraAccessException", e)
  }
}

Запуск в режиме без дополненной реальности или в режиме дополненной реальности.

Чтобы начать захват кадров, вызовите captureSession.setRepeatingRequest() из функции обратного вызова onConfigured() сессии захвата камеры. Возобновите сессию ARCore в функции обратного вызова onActive() чтобы начать работу в режиме дополненной реальности.

Java

// Repeating camera capture session state callback.
CameraCaptureSession.StateCallback cameraSessionStateCallback =
    new CameraCaptureSession.StateCallback() {

      // Called when ARCore first configures the camera capture session after
      // initializing the app, and again each time the activity resumes.
      @Override
      public void onConfigured(@NonNull CameraCaptureSession session) {
        captureSession = session;
        setRepeatingCaptureRequest();
      }

      @Override
      public void onActive(@NonNull CameraCaptureSession session) {
        if (arMode && !arcoreActive) {
          resumeARCore();
        }
      }
    };

// A repeating camera capture session capture callback.
CameraCaptureSession.CaptureCallback cameraCaptureCallback =
    new CameraCaptureSession.CaptureCallback() {
      @Override
      public void onCaptureCompleted(…) {
        shouldUpdateSurfaceTexture.set(true);
      }
    };

void setRepeatingCaptureRequest() {
    captureSession.setRepeatingRequest(
        previewCaptureRequestBuilder.build(), cameraCaptureCallback, backgroundHandler);
}

void resumeARCore() {
    // Resume ARCore.
    sharedSession.resume();
    arcoreActive = true;

    // Set the capture session callback while in AR mode.
    sharedCamera.setCaptureCallback(cameraCaptureCallback, backgroundHandler);
}

Котлин

val cameraSessionStateCallback = object : CameraCaptureSession.StateCallback() {
      // Called when ARCore first configures the camera capture session after
      // initializing the app, and again each time the activity resumes.
  override fun onConfigured(session: CameraCaptureSession) {
    captureSession = session
    setRepeatingCaptureRequest()
  }

  override fun onActive(session: CameraCaptureSession) {
    if (arMode && !arcoreActive) {
      resumeARCore()
    }
  }
}

val cameraCaptureCallback = object : CameraCaptureSession.CaptureCallback() {
  override fun onCaptureCompleted(
    session: CameraCaptureSession,
    request: CaptureRequest,
    result: TotalCaptureResult
  ) {
    shouldUpdateSurfaceTexture.set(true);
  }
}

fun setRepeatingCaptureRequest() {
  captureSession.setRepeatingRequest(
    previewCaptureRequestBuilder.build(), cameraCaptureCallback, backgroundHandler
  )
}

fun resumeARCore() {
    // Resume ARCore.
    sharedSession.resume()
    arcoreActive = true

    // Set the capture session callback while in AR mode.
    sharedCamera.setCaptureCallback(cameraCaptureCallback, backgroundHandler)
}

Плавное переключение между режимами без дополненной реальности и с дополненной реальностью во время выполнения.

Чтобы переключиться из режима без дополненной реальности в режим с дополненной реальностью и возобновить приостановленную сессию ARCore:

Java

// Resume the ARCore session.
resumeARCore();

Котлин

// Resume the ARCore session.
resumeARCore()

Для переключения из режима дополненной реальности в режим без дополненной реальности:

Java

// Pause ARCore.
sharedSession.pause();

// Create the Camera2 repeating capture request.
setRepeatingCaptureRequest();

Котлин

// Pause ARCore.
sharedSession.pause()

// Create the Camera2 repeating capture request.
setRepeatingCaptureRequest()