Virtuelle Objekte in einer Szene realistisch beleuchten

Beleuchtungsschätzung in Ihren eigenen Apps verwenden

Voraussetzungen

Machen Sie sich mit den grundlegenden AR-Konzepten und zur Konfiguration einer ARCore-Sitzung vertraut, bevor Sie fortfahren.

Konfigurieren Sie die API einmal pro Sitzung mit dem entsprechenden Modus.

Konfigurieren Sie die Schätzung der Beleuchtung einmal pro Sitzung für den gewünschten Modus.

Umgebungs-HDR

// Configure the session's lighting estimation mode for
// AR_LIGHT_ESTIMATION_MODE_ENVIRONMENTAL_HDR.
ArConfig* config = NULL;
ArConfig_create(session, &config);
ArSession_getConfig(session, config);
ArConfig_setLightEstimationMode(session, config,
                                AR_LIGHT_ESTIMATION_MODE_ENVIRONMENTAL_HDR);
ArSession_configure(session, config);
ArConfig_destroy(config);

Umgebungsintensität

// Configure the session's lighting estimation mode for
// AR_LIGHT_ESTIMATION_MODE_AMBIENT_INTENSITY.
ArConfig* config = NULL;
ArConfig_create(session, &config);
ArSession_getConfig(session, config);
ArConfig_setLightEstimationMode(session, config,
                                AR_LIGHT_ESTIMATION_MODE_AMBIENT_INTENSITY);
ArSession_configure(session, config);
ArConfig_destroy(config);

Deaktiviert

// Disable the session's lighting estimation mode.
ArConfig* config = NULL;
ArConfig_create(session, &config);
ArSession_getConfig(session, config);
ArConfig_setLightEstimationMode(session, config,
                                AR_LIGHT_ESTIMATION_MODE_DISABLED);
ArSession_configure(session, config);
ArConfig_destroy(config);

Werte aus der Beleuchtungsschätzung verwenden

Wenn Sie Werte aus der Beleuchtungsschätzung verwenden möchten, müssen Sie die Lichtschätzung für jeden Frame abrufen.

// Get the current frame.
ArFrame* ar_frame = NULL;
if (ArSession_update(session, ar_frame) != AR_SUCCESS) {
  LOGE("ArSession_update error");
  return;
}

// Get the light estimate for the current frame.
ArLightEstimate* ar_light_estimate = NULL;
ArLightEstimate_create(session, &ar_light_estimate);
ArFrame_getLightEstimate(session, ar_frame, ar_light_estimate);

ArLightEstimateState ar_light_estimate_state;
ArLightEstimate_getState(session, ar_light_estimate,
                         &ar_light_estimate_state);

// Check that the light estimate is valid before proceeding.
if (ar_light_estimate_state != AR_LIGHT_ESTIMATE_STATE_VALID) {
  LOGE("ArLightEstimateState is not valid.");
  ArLightEstimate_destroy(ar_light_estimate);
  return;
}

Rufen Sie dann die HDR-Beleuchtungskomponenten für die aktuelle Konfiguration ab:

Umgebungs-HDR

// Get intensity and direction of the main directional light from the current
// light estimate.
float direction[3];
ArLightEstimate_getEnvironmentalHdrMainLightDirection(
    session, ar_light_estimate, direction);

float intensity[3];
ArLightEstimate_getEnvironmentalHdrMainLightIntensity(
    session, ar_light_estimate, intensity);

// Get ambient lighting as spherical harmonics coefficients.
float ambient_spherical_harmonics[27];
ArLightEstimate_getEnvironmentalHdrAmbientSphericalHarmonics(
    session, ar_light_estimate, ambient_spherical_harmonics);

// Get HDR environmental lighting as a cubemap in linear color space.
ArImageCubemap cubemap_textures;
ArLightEstimate_acquireEnvironmentalHdrCubemap(session, ar_light_estimate,
                                               cubemap_textures);
int width = -1;
int height = -1;
int32_t format = -1;
for (int i = 0; i < 6; ++i) {
  ArImage* image_ptr = cubemap_textures[i];
  // We can access the cubemap texture data through ArImage APIs.
  ArImage_getWidth(session, image_ptr, &width);
  ArImage_getHeight(session, image_ptr, &height);
  ArImage_getFormat(session, image_ptr, &format);
  // Acquired image must be released with ArImage_release once it is no
  // longer needed.
  ArImage_release(image_ptr);
}
ArLightEstimate_destroy(ar_light_estimate);

Umgebungsintensität

// Get the pixel intensity of AR_LIGHT_ESTIMATION_MODE_AMBIENT_INTENSITY mode.
float pixel_intensity;
ArLightEstimate_getPixelIntensity(session, ar_light_estimate,
                                  &pixel_intensity);

// Get the pixel color correction of
// AR_LIGHT_ESTIMATION_MODE_AMBIENT_INTENSITY mode.
float color_correction[4];
ArLightEstimate_getColorCorrection(session, ar_light_estimate,
                                   color_correction);
ArLightEstimate_destroy(ar_light_estimate);

Energieeinsparung mit Environmental HDR APIs

Bei der Energieeinsparung handelt es sich um das Prinzip, dass von einer Oberfläche reflektiertes Licht nie stärker sein wird als vor dem Auftreffen auf der Oberfläche. Diese Regel wird beim physikalischen Rendering erzwungen, wird jedoch in der Regel bei Legacy-Rendering-Pipelines, die in Videospielen und mobilen Apps verwendet werden, ausgelassen.

Wenn Sie eine physisch basierte Rendering-Pipeline mit Environmental HDR-Lichtschätzung verwenden, achten Sie darauf, dass in Ihren virtuellen Objekten physikalische Materialien verwendet werden.

Wenn Sie keine physisch basierte Pipeline verwenden, haben Sie jedoch mehrere Möglichkeiten:

• Die beste Lösung hierfür ist die Migration zu einer physisch basierten Pipeline.

• Wenn dies jedoch nicht möglich ist, können Sie das Problem umgehen, indem Sie den Albedo-Wert aus einem nicht physikalischen Material mit einem Energieerhaltungsfaktor multiplizieren. Dadurch kann zumindest das BRDF-Schattierungsmodell in physischbasierte konvertiert werden. Jede BRDF hat einen anderen Faktor, zum Beispiel ist er für eine diffuse Reflexion 1/Pi.