Guides spécifiques à la plate-forme
Android (Kotlin/Java)
NDK Android (C)
Unity (AR Foundation)
Unreal Engine
Pour créer des expériences de RA réalistes, il est essentiel d'ajuster l'éclairage. Lorsqu'un objet virtuel manque d'ombre ou que sa matière brillante ne reflète pas l'espace environnant, les utilisateurs peuvent sentir que l'objet n'est pas tout à fait adapté, même s'ils ne peuvent pas expliquer pourquoi. En effet, les humains perçoivent inconsciemment des indices concernant la façon dont les objets sont éclairés dans leur environnement. L'API Lighting Estimation analyse ces images à la recherche de signaux et fournit des informations détaillées sur l'éclairage d'une scène. Vous pouvez ensuite utiliser ces informations lors du rendu des objets virtuels pour les éclairer dans les mêmes conditions que la scène dans laquelle ils sont placés, ce qui permet aux utilisateurs de rester ancrés et impliqués.
Indications d'éclairage
L'API Lighting Estimation fournit des données détaillées qui vous permettent d'imiter différents signaux d'éclairage lors du rendu d'objets virtuels. Ces signaux sont les ombres, la lumière ambiante, les ombres, les reflets spéculatifs et les reflets.
Ombres
Les ombres sont souvent directionnelles et indiquent aux spectateurs d'où proviennent les sources lumineuses.
Luminosité ambiante
La lumière ambiante est la lumière diffuse globale qui provient de l'environnement, ce qui rend tout ce qui est visible.
Ombre
L’ombre est l’intensité de la lumière. Par exemple, différentes parties d'un même objet peuvent avoir différents niveaux d'ombrage dans la même scène, en fonction de l'angle par rapport au spectateur et de sa proximité avec une source de lumière.
Mises en surbrillance spéculaires
Les reflets spéculatifs sont les fragments brillants qui réfléchissent directement une source de lumière. Les mises en surbrillance d'un objet changent en fonction de la position du spectateur dans une scène.
Humeur
La lumière rebondit sur les surfaces différemment selon que celle-ci possède des propriétés spéculaires (très réfléchissantes) ou diffuses (non réfléchissantes). Par exemple, une boule métallique est très spéculaire et reflète son environnement, tandis qu'une autre balle peinte en gris mat est diffuse. La plupart des objets du monde réel combinent ces propriétés : par exemple, une balle de bowling froissée ou une carte de crédit bien utilisée.
Les surfaces réfléchissantes captent également les couleurs de l'environnement ambiant. La couleur d'un objet peut être directement influencée par la couleur de son environnement. Par exemple, une boule blanche dans une pièce bleue prendra une teinte bleutée.
Mode HDR de l'environnement
Ces modes sont constitués d'API distinctes qui permettent d'obtenir une estimation précise et réaliste de l'éclairage pour l'éclairage directionnel, les ombres, les tons clairs et les reflets.
Le mode HDR de l'environnement utilise le machine learning pour analyser les images de la caméra en temps réel et synthétiser l'éclairage de l'environnement afin de proposer un rendu réaliste des objets virtuels.
Ce mode d'estimation de l'éclairage offre les avantages suivants:
Lumière directionnelle principale. Représente la source lumineuse principale. Cette fonctionnalité permet de projeter des ombres.
Harmoniques sphériques ambiantes. Représente l'énergie ambiante restante dans la scène.
Carte cubique HDR. Permet d'afficher des reflets dans des objets métalliques brillants.
Vous pouvez combiner ces API de différentes façons, mais elles sont conçues pour être utilisées ensemble afin de générer l'effet le plus réaliste possible.
Éclairage directionnel principal
L'API d'éclairage directionnel principal calcule la direction et l'intensité de la source lumineuse principale de la scène. Ces informations permettent aux objets virtuels de votre scène d'afficher des tons clairs spéculaires raisonnablement positionnés et de projeter des ombres dans une direction cohérente avec d'autres objets réels visibles.
Pour voir comment cela fonctionne, regardez ces deux images de la même fusée virtuelle. Dans l'image de gauche, il y a une ombre sous la fusée, mais sa direction ne correspond pas aux autres ombres de la scène. Dans la fusée située à droite, l'ombre pointe dans la bonne direction. C'est une différence subtile, mais importante, qui place la fusée au fond de la scène, car la direction et l'intensité de l'ombre correspondent mieux aux autres ombres de la scène.
Lorsque la source de lumière principale ou un objet allumé est en mouvement, la mise en surbrillance spéculaire de l'objet ajuste sa position en temps réel par rapport à la source de lumière.
Les ombres directionnelles ajustent également leur longueur et leur direction en fonction de la position de la source de lumière principale, tout comme dans la réalité. Pour illustrer cet effet, prenons ces deux mannequins, l'un virtuel et l'autre réel. Le mannequin de gauche est virtuel.
Harmoniques sphériques ambiantes
En plus de l'énergie lumineuse de la lumière directionnelle principale, ARCore fournit des harmoniques sphériques, qui représentent la lumière ambiante globale provenant de toutes les directions de la scène. Utilisez ces informations lors du rendu pour ajouter des repères subtils qui révèlent la définition des objets virtuels.
Prenons ces deux images du même modèle de fusée. Le rendu de la fusée situé à gauche s'effectue à l'aide des informations d'estimation de l'éclairage détectées par l'API d'éclairage directionnel principale. La fusée de droite est rendue à l'aide des informations détectées par la lumière directionnelle principale et les API harmoniques sphériques ambiantes. La deuxième fusée a clairement été redéfinie sur le plan visuel et s'intègre plus harmonieusement à la scène.
Carte cubique HDR
Utilisez la carte cubique HDR pour afficher des reflets réalistes sur des objets virtuels avec une brillance moyenne à élevée, comme des surfaces métalliques brillantes. Elle affecte également l'ombrage et l'apparence des objets. Par exemple, la matière d'un objet spéculaire entouré d'un environnement bleu reflétera les teintes bleues. Le calcul de la cube HDR nécessite très peu de calculs supplémentaires sur le processeur.
L'utilisation ou non d'un cube HDR dépend de la façon dont un objet reflète son environnement. Comme la fusée virtuelle est métallique, elle possède un puissant composant spéculaire qui reflète directement l'environnement qui l'entoure. Elle bénéficie donc de la valeur cube. En revanche, un objet virtuel avec une matière gris terne mat ne présente aucun composant spécifique. Sa couleur dépend principalement du composant diffus, et un cube ne lui serait pas utile.
Les trois API Environmental HDR ont été utilisées pour effectuer le rendu de la fusée ci-dessous. La carte cubique HDR permet d'utiliser des repères réfléchissants et de mettre l'objet à la base de la scène.
Voici le même modèle de fusée dans des environnements sous un éclairage différent. Toutes ces scènes ont été affichées à l'aide des informations des trois API, et des ombres directionnelles ont été appliquées.
Mode Intensité ambiante
Le mode Intensité ambiante détermine l'intensité moyenne des pixels et les scalaires de correction des couleurs pour une image donnée. Il s'agit d'un paramètre grossier conçu pour les cas d'utilisation où un éclairage précis n'est pas essentiel (par exemple, lorsqu'il s'agit d'objets avec un éclairage intégré).
Intensité du pixel
Capture l'intensité moyenne en pixels de l'éclairage d'une scène. Vous pouvez appliquer cet éclairage à un objet virtuel entier.
Couleur
Détecte la balance des blancs pour chaque image. Vous pouvez ensuite corriger la couleur d'un objet virtuel afin qu'il s'intègre plus facilement dans la couleur globale de la scène.
Vérifications d'environnement
Les sondes d'environnement organisent les vues de caméras à 360 degrés sous forme de textures d'environnement, telles que des cartes cubiques. Ces textures peuvent ensuite être utilisées pour éclairer de façon réaliste des objets virtuels, comme une boule en métal virtuelle qui "reflète" la pièce dans laquelle elle se trouve.