Guías específicas para cada plataforma
Android (Kotlin/Java)
NDK de Android (C)
Unity (Base de RA)
Unreal Engine
Un aspecto clave para crear experiencias realistas de RA es utilizar la iluminación adecuada. Cuando a un objeto virtual le falta una sombra o tiene un material brillante que no refleja el espacio que lo rodea, los usuarios pueden percibir que el objeto no encaja del todo, incluso si no pueden explicar por qué. Esto se debe a que los seres humanos perciben inconscientemente pistas relacionadas con la iluminación de los objetos en su entorno. La API de estimación de iluminación analiza imágenes determinadas para detectar esas señales y proporciona información detallada sobre la iluminación de una escena. Luego, puedes usar esta información a la hora de renderizar objetos virtuales para iluminarlos en las mismas condiciones que la escena en la que se encuentran, manteniendo a los usuarios conectados.
Señales de luz
La API de Lighting Estimation proporciona datos detallados que te permiten imitar diferentes señales de iluminación al renderizar objetos virtuales. Estas señales son sombras, luz ambiente, sombreado, zonas brillantes especulares y reflejos.
Sombras
Las sombras suelen ser direccionales y les indican a los usuarios de dónde provienen las fuentes de luz.
Luz ambiental
La luz ambiente es la luz difusa general que entra a su entorno y hace que todo sea visible.
Sombreado
El sombreado es la intensidad de la luz. Por ejemplo, diferentes partes del mismo objeto pueden tener distintos niveles de sombreado en la misma escena, según el ángulo en relación con el usuario y su proximidad a una fuente de luz.
Contenido destacado específico
Los reflejos especulares son partes brillantes de las superficies que reflejan directamente una fuente de luz. Los elementos destacados de un objeto cambian según la posición de un espectador en una escena.
Reflejos
La luz rebota en las superficies de manera diferente según si estas tienen propiedades especulares (altamente reflectantes) o difusas (no reflectantes). Por ejemplo, una bola metálica será muy especular y reflejará su entorno, mientras que otra bola pintada de un gris mate se verá difusa. La mayoría de los objetos del mundo real tienen una combinación de estas propiedades, por ejemplo, una bola de boliche destruida o una tarjeta de crédito que se usa bastante.
Las superficies reflectantes también recogen los colores del ambiente. El color de un objeto puede verse directamente afectado por el color de su entorno. Por ejemplo, una bola blanca en una habitación azul adquirirá un tono azulado.
Modo HDR ambiental
Estos modos consisten en APIs separadas que permiten una estimación detallada y realista de la iluminación para iluminación direccional, sombras, zonas brillantes especulares y reflejos.
El modo HDR ambiental usa el aprendizaje automático para analizar las imágenes de la cámara en tiempo real y sintetizar la iluminación ambiental para permitir una renderización realista de los objetos virtuales.
Este modo de estimación de iluminación proporciona lo siguiente:
Luz direccional principal: Representa la fuente de luz principal. Se puede usar para proyectar sombras.
Armónicos esféricos ambientales. Representa la energía lumínica ambiental restante de la escena.
Un mapa de cubo HDR Se puede usar para renderizar reflejos en objetos metálicos brillantes.
Puedes usar estas APIs en diferentes combinaciones, pero están diseñadas para usarse juntas para lograr un efecto más realista.
Luz direccional principal
La API de luz direccional principal calcula la dirección y la intensidad de la fuente de luz principal de la escena. Esta información permite que los objetos virtuales de tu escena muestren zonas brillantes especulares en una posición razonable y proyectan sombras en una dirección coherente con otros objetos reales visibles.
Para ver cómo funciona, ten en cuenta estas dos imágenes del mismo cohete virtual. En la imagen de la izquierda, hay una sombra debajo del cohete, pero su dirección no coincide con las otras sombras de la escena. En el cohete de la derecha, la sombra apunta en la dirección correcta. Es una diferencia sutil, pero importante, y fija el cohete en la escena porque la dirección y la intensidad de la sombra coinciden mejor con otras sombras de la escena.
Cuando la fuente de luz principal o un objeto iluminado están en movimiento, el resaltado especular del objeto ajusta su posición en tiempo real en relación con la fuente de luz.
Las sombras direccionales también ajustan su longitud y dirección en relación con la posición de la fuente de luz principal, al igual que en el mundo real. Para ilustrar este efecto, consideremos estos dos maniquíes, uno virtual y el otro real. El maniquí de la izquierda es el virtual.
Armónicos esféricos ambientales
Además de la energía lumínica de la luz direccional principal, ARCore proporciona armónicos esféricos, que representan la luz ambiente general que entra desde todas las direcciones de la escena. Usa esta información durante la renderización para agregar señales sutiles que destaquen la definición de los objetos virtuales.
Piensa en estas dos imágenes del mismo modelo de cohete. El cohete de la izquierda se renderiza con la información de estimación de iluminación detectada por la API de luz direccional principal. El cohete de la derecha se renderiza con información detectada por las APIs de luz de dirección principal y de armónicos esféricos ambientales. El segundo cohete claramente tiene una definición más visual y se combina más perfectamente en la escena.
Mapa de cubo HDR
Usa el mapa de cubos HDR para renderizar reflejos realistas en objetos virtuales con un brillo medio a alto, como superficies metálicas brillantes. También afecta el sombreado y el aspecto de los objetos. Por ejemplo, el material de un objeto especular rodeado de un entorno azul reflejará los tonos azules. Para calcular el mapa de cubo HDR, se requiere un poco de procesamiento adicional de CPU.
El uso del cubemap HDR depende de cómo un objeto refleje su entorno. Como el cohete virtual es metálico, tiene un componente especular fuerte que refleja directamente el entorno que lo rodea. Por lo tanto, se beneficia del cubemap. Por otro lado, un objeto virtual con un material mate gris opaco no tiene ningún componente especular. Su color depende principalmente del componente difuso, y no se beneficiaría de un cubemap.
Se usaron las tres APIs de Environmental HDR para renderizar el cohete que aparece a continuación. El mapa de cubo HDR permite mostrar señales reflectantes y, además, destacar el objeto por completo en la escena.
Este es el mismo modelo de cohete en entornos con diferente iluminación. Todas estas escenas se procesaron con información de las tres APIs, con sombras direccionales aplicadas.
Modo de intensidad ambiental
El modo de intensidad ambiental determina la intensidad de píxeles promedio y los escalares de corrección de colores de una imagen determinada. Se trata de una configuración general diseñada para casos de uso en los que la iluminación precisa no es fundamental, como los objetos que tienen iluminación incorporada.
Intensidad de píxeles
Captura la intensidad de píxeles promedio de la iluminación en una escena. Puedes aplicar esta iluminación a un objeto virtual completo.
Color
Detecta el balance de blancos de cada fotograma individual. Luego, puedes corregir el color de un objeto virtual para que se integre con mayor fluidez en la coloración general de la escena.
Sondeos de entorno
Las sondas ambientales organizan las vistas de la cámara de 360 grados en texturas ambientales, como los mapas de cubos. Estas texturas se pueden utilizar para iluminar objetos virtuales de manera realista, como una bola de metal virtual que "refleja" la habitación en la que se encuentra.