Przewodniki dotyczące poszczególnych platform
Android (Kotlin/Java)
Pakiet NDK z Androidem (C)
Unity (Fundacja AR)
Unreal Engine
Istotnym elementem tworzenia realistycznych wrażeń AR jest odpowiednie oświetlenie. Gdy na wirtualnym obiekcie brakuje cienia lub zawiera błyszczący materiał, który nie odbija otoczenia, użytkownicy mogą wyczuć, że obiekt nie pasuje, nawet jeśli nie potrafią wyjaśnić, dlaczego tak jest. Dzieje się tak, ponieważ ludzie podświadomie dostrzegają wskazówki dotyczące sposobu oświetlania obiektów w ich otoczeniu. Interfejs Lighting Estimation API analizuje obrazy pod kątem takich wskazówek i dostarcza szczegółowe informacje o oświetleniu sceny. Możesz następnie użyć tych informacji podczas renderowania obiektów wirtualnych do oświetlenia ich w tych samych warunkach co scena, w której się znajdują, dzięki czemu użytkownicy będą mieli umocowanie i zaangażowanie.
Sygnały oświetleniowe
Interfejs Lighting Estimation API udostępnia szczegółowe dane, które umożliwiają naśladowanie różnych wskazówek świetlnych podczas renderowania obiektów wirtualnych. Są to cienie, światło otoczenia, cieniowanie, zwierciadlane podświetlenia i odbicia.
Cienie
Cienie często mają charakter kierunkowy i informują widzów, skąd pochodzi światło.
Jasność otoczenia
Światło otoczenia to ogólne rozproszone światło wpadające z otoczenia, dzięki czemu wszystko jest widoczne.
Cieniowanie
Cienie określa intensywność światła. Na przykład różne części tego samego obiektu mogą mieć różne poziomy cieniowania w zależności od kąta względem widza i odległości od źródła światła.
Światła lustrzane
Światła rozświetlone to błyszczące fragmenty powierzchni, które bezpośrednio odbijają źródło światła. Wyróżnienia obiektu zmieniają się w zależności od pozycji widza w scenie.
Odczucia
Światło odbija się na różne sposoby, w zależności od tego, czy powierzchnia ma właściwości zwierciadlane (duże odbicie) czy rozproszone (nie odbijające się). Na przykład metalowa kula będzie mocno zwierciadła i odbija otoczenie, a inna kula pomalowana na matowy, matowy odcień będzie rozproszona. Większość prawdziwych przedmiotów łączy te cechy – może to być np. zardzewiała kula do kręgli albo dobrze używana karta kredytowa.
Powierzchnie odblaskowe również przechwytują kolory z otoczenia. Na kolor obiektu może bezpośrednio wpływać kolor otoczenia. Na przykład biała kula w niebieskim pomieszczeniu otrzyma niebieskawy odcień.
Tryb środowiskowego HDR
Te tryby składają się z osobnych interfejsów API, które pozwalają na szczegółowe i realistyczne oszacowanie oświetlenia kierunkowego, cieni, podświetleń i odbicia.
Tryb środowiskowego HDR korzysta z systemów uczących się do analizowania zdjęć z kamery w czasie rzeczywistym i syntetyzowania oświetlenia środowiskowego w celu umożliwienia realistycznego renderowania wirtualnych obiektów.
Ten tryb oceny oświetlenia zapewnia:
Główne światło kierunkowe. Reprezentuje główne źródło światła. Może służyć do rzucania cienia.
Harmonika sferyczna otoczenia. Reprezentuje pozostałą energię światła otoczenia w scenie.
Mapa sześcienna HDR Za jej pomocą można renderować odbicia na błyszczących metalach.
Interfejsy API mogą być używane w różnych kombinacjach, ale są zaprojektowane tak, aby były używane razem, aby uzyskać jak najbardziej realistyczny efekt.
Główne światło kierunkowe
Interfejs API głównego źródła światła kierunkowego oblicza kierunek i intensywność głównego źródła światła sceny. Dzięki tym informacjom wirtualne obiekty znajdujące się w scenie mogą pokazywać rozmieszczone zwierciadła świetlne i rzucać cienie w kierunku zgodnym z innymi widocznymi rzeczywistymi obiektami.
Aby przekonać się, jak to działa, spójrz na te 2 zdjęcia tej samej wirtualnej rakiety. Na zdjęciu po lewej stronie jest cień pod rakietą, ale jej kierunek jest inny niż pozostałe cienie. W rakietie po prawej stronie cień jest skierowany w prawidłowy kierunek. To subtelna, ale ważna różnica, która pozwala wycelować rakietę w scenę, ponieważ kierunek i intensywność cienia lepiej pasują do innych cieni w scenie.
Gdy główne źródło światła lub oświetlony obiekt jest w ruchu, zwierciadlane wyróżnienie na obiekcie dostosowuje w czasie rzeczywistym jego położenie względem źródła światła.
Cienie kierunkowe również dostosowują swoją długość i kierunek względem położenia głównego źródła światła, tak jak w świecie rzeczywistym. Aby zilustrować ten efekt, przyjrzyjmy się dwóm manekinom – wirtualnym i prawdziwym. Manekin po lewej to ten wirtualny.
Harmonia sferyczna otoczenia
Oprócz energii świetlnej z głównego światła kierunkowego ARCore dostarcza też harmoniczną harmonię sferyczną, która reprezentuje ogólne światło otoczenia dochodzące ze wszystkich kierunków sceny. Wykorzystaj te informacje podczas renderowania, by dodać subtelne podpowiedzi, które podkreślą definicję obiektów wirtualnych.
Przyjrzyjmy się 2 obrazom tego samego modelu rakiety. Rakieta po lewej stronie jest renderowana na podstawie informacji o szacowaniu oświetlenia wykrytych przez główny interfejs API światła kierunkowego. Rakieta po prawej stronie jest renderowana na podstawie informacji wykrytych przez interfejsy API harmonii sferycznej głównego kierunku i interfejsów API harmonii sferycznej. Druga rakieta ma wyraźniejszy obraz i łatwiej wtapia się w scenę.
Mapa sześcienna HDR
Za pomocą mapy kostki HDR możesz renderować realistyczne refleksy na wirtualnych obiektach o średnim lub wysokim połysku, takich jak błyszczące metalowe powierzchnie. Mapa sześcienna wpływa też na cieniowanie i wygląd obiektów. Na przykład materiał lustrzanego obiektu otoczonego niebieskim otoczeniem będzie odbijać odcienie niebieski. Obliczanie mapy sześciennej HDR wymaga nieco więcej mocy obliczeniowej procesora.
Wybór kostki HDR zależy od tego, w jaki sposób obiekt odbija swoje otoczenie. Wirtualna rakieta jest metaliczna, więc ma mocny komponent zwierciadłowy, który bezpośrednio odbija otoczenie. Korzysta on więc z mapy sześciennej. Z drugiej strony obiekt wirtualny z ciemnoszarym, matowym materiałem nie ma komponentu zwierciadlanego. Jego kolor zależy głównie od składnika rozproszonego i nie jest potrzebny do użycia mapy sześciennej.
Do renderowania rakiety wykorzystano wszystkie 3 interfejsy Environmental HDR API. Mapa kostki HDR włącza wskazówki odbijające światło i jeszcze bardziej podświetla obiekt, który w całości obróci się w scenę.
Oto ten sam model rakiety w różnym oświetleniu. Wszystkie te sceny zostały wyrenderowane przy użyciu informacji z 3 interfejsów API z zastosowaniem cieni kierunkowych.
Tryb intensywności oświetlenia
Tryb intensywności otoczenia określa średnią intensywność pikseli i skalary korekcji kolorów dla danego obrazu. Jest to ustawienie z dużym natężeniem światła przeznaczone do stosowania w sytuacjach, w których precyzyjne oświetlenie nie ma kluczowego znaczenia, np. w przypadku obiektów z osadzonym oświetleniem.
Intensywność pikseli
Pokazuje średnią intensywność oświetlenia sceny w pikselach. Możesz zastosować to oświetlenie do całego wirtualnego obiektu.
Kolor
Wykrywa balans bieli dla każdej klatki. Następnie możesz skorygować kolor wirtualnego obiektu, aby lepiej pasował do ogólnego koloru sceny.
Sondy środowiskowe
Sondy środowiskowe porządkują widoki z kamery w formacie 360° w tekstury otoczenia, takie jak mapy sześcienne. Te tekstury można następnie wykorzystać do oświetlania wirtualnych obiektów, takich jak wirtualna metalowa kula, która „odbija” wnętrze pomieszczenia, w którym się znajduje.