ARCore obsługuje teraz elektroniczną stabilizację obrazu (EIS), która pozwala uzyskać płynny podgląd obrazu z aparatu. EIS osiąga stabilizację, obserwując ruch telefonu za pomocą żyroskopu i stosując siatkę homografii kompensacyjnej w granicach tekstury aparatu, która zniweluje drobne drgania. EIS jest obsługiwany tylko w orientacji pionowej. Wszystkie orientacje będą obsługiwane w wersji 1.39.0 ARCore.
Zapytanie o obsługę EIS i włączenie EIS
Aby włączyć EIS, skonfiguruj sesję pod kątem korzystania z AR_IMAGE_STABILIZATION_MODE_EIS
. Jeśli urządzenie nie obsługuje funkcji EIS, ARCore wygeneruje wyjątek.
int enableEis = 0; ArSession_isImageStabilizationModeSupported( ar_session, AR_IMAGE_STABILIZATION_MODE_EIS, &enableEis); if (!enableEis) { return; } // Create a session config. ArConfig* ar_config = NULL; ArConfig_create(ar_session, &ar_config); // Enable Electronic Image Stabilization. ArConfig_setImageStabilizationMode(ar_session, ar_config, AR_IMAGE_STABILIZATION_MODE_EIS); CHECK(ArSession_configure(ar_session, ar_config) == AR_SUCCESS); // Release config resources. ArConfig_destroy(ar_config);
Przekształć współrzędne
Gdy funkcja EIS jest włączona, mechanizm renderowania musi używać zmodyfikowanych współrzędnych urządzenia i pasujących współrzędnych tekstur, które uwzględniają kompensację EIS podczas renderowania tła kamery. Aby uzyskać współrzędne kompensowane EIS, użyj ArFrame_transformCoordinates3d
, używając AR_COORDINATES_2D_OPENGL_NORMALIZED_DEVICE_COORDINATES
jako danych wejściowych i AR_COORDINATES_3D_EIS_NORMALIZED_DEVICE_COORDINATES
jako danych wyjściowych, aby uzyskać współrzędne urządzenia 3D, i AR_COORDINATES_3D_EIS_TEXTURE_NORMALIZED
jako danych wyjściowych, aby uzyskać współrzędne tekstur 3D. Obecnie jedynym obsługiwanym typem współrzędnych wejściowych dla elementu ArFrame_transformCoordinates3d
jest AR_COORDINATES_2D_OPENGL_NORMALIZED_DEVICE_COORDINATES
.
int kNumVertices = 4; // Positions of the quad vertices in clip space (X, Y). const GLfloat kVertices[] = { -1.0f, -1.0f, +1.0f, -1.0f, -1.0f, +1.0f, +1.0f, +1.0f, }; float transformed_vertices_[4 * 3]; float transformed_uvs_[4 * 3]; ArFrame_transformCoordinates3d( session, frame, AR_COORDINATES_2D_OPENGL_NORMALIZED_DEVICE_COORDINATES, kNumVertices, kVertices, AR_COORDINATES_3D_EIS_NORMALIZED_DEVICE_COORDINATES, transformed_vertices_); ArFrame_transformCoordinates3d( session, frame, AR_COORDINATES_2D_OPENGL_NORMALIZED_DEVICE_COORDINATES, kNumVertices, kVertices, AR_COORDINATES_3D_EIS_TEXTURE_NORMALIZED, transformed_uvs_); glActiveTexture(GL_TEXTURE0); glBindTexture(GL_TEXTURE_EXTERNAL_OES, camera_texture_id_); glUseProgram(camera_program_); glUniform1i(camera_texture_uniform_, 0); // Set the vertex positions and texture coordinates. glVertexAttribPointer(camera_position_attrib_, 3, GL_FLOAT, false, 0, transformed_vertices_); glVertexAttribPointer(camera_tex_coord_attrib_, 3, GL_FLOAT, false, 0, transformed_uvs_); glEnableVertexAttribArray(camera_position_attrib_); glEnableVertexAttribArray(camera_tex_coord_attrib_);
Gdy EIS jest wyłączony, wyjściowe współrzędne 3D są równoważne z ich odpowiednikami w 2D, przy czym wartości Z są ustawione tak, aby nie dało się zmienić.
Zmień cieniowanie
Obliczone współrzędne 3D należy przekazać do cieniowania renderowania w tle. Bufory wierzchołków są teraz trójwymiarowe z EIS:
layout(location = 0) in vec4 a_Position;
layout(location = 1) in vec3 a_CameraTexCoord;
out vec3 v_CameraTexCoord;
void main() {
gl_Position = a_Position;
v_CameraTexCoord = a_CameraTexCoord;
}
Dodatkowo cieniowanie fragmentów musi stosować korekcję perspektywy:
precision mediump float;
uniform samplerExternalOES u_CameraColorTexture;
in vec3 v_CameraTexCoord;
layout(location = 0) out vec4 o_FragColor;
void main() {
vec3 tc = (v_CameraTexCoord / v_CameraTexCoord.z);
o_FragColor = texture(u_CameraColorTexture, tc.xy);
}
Więcej informacji znajdziesz w przykładowej aplikacji hello_eis_kotlin.