Estimation of environmental lighting from human face for illumination of augmented reality scenes

Abstract

Bu tez, arttırılmış gerçeklik ortamlarında ortak bir sorun olan, çevresel ışıkların analizive sahneye konulacak cisimlerin bu ışık bilgisine göre ışıklandırılmasına uygun birmetod sunuyor.Bu metodun temelinde arttırılmış gerçeklik uygulamalarında şekli belirlicisimlerden, özellikle insan yüzü, çevresel ışıkların analizini yapan bir yapı mevcuttur.Metod özellikle dış mekan kullanımı için düzenlenmiş ve doğrudan güneş ışığı tarafındanaydınlatılan objeleri gerçeklemek için ayarlanmıştır.Tezin ilk kısmında, mobil cihaza doğrudan bakan bir insanın yüzünden çevresel ışıkbilgisinin nasıl çıkarılacağı anlatılmaktadır. Bu teknik ön kameradan gelen resimlerimuhtemel ışık kaynaklarına bakarak analiz etmektedir.Tezin ikinci kısmında ise ilk aşamada elde edilen ışık yön bilgisini kullanarak gerçekzamanlı ve görsel kalitesi yüksek bir biçimde sanal cisim görsellenme tekniği anlatılmaktadır.Bu model Küresel Harmonik Işıklandırması adında matematiksel bir teknik kullanmaktadır.

In this thesis, we propose a method to solve a common problem in augmented realitydomain; estimating light sources in an outdoor scene and lighting virtual objectsaccordingly. As a basis of our method we developed a framework based on estimation ofenvironmental lighting from well defined objects, specifically human faces. The methodis tuned for outdoor use, and the algorithm is further enhanced to illuminate virtual objectsexposed to direct sunlight.In the first part of this thesis, we propose a novel lighting estimation technique wherewe assume a user is looking straight to mobile devices camera. This technique extractsinformation from input images to calculate possible light sources to pass to the renderingstage.In the second part of this thesis, we propose a lighting model which uses the outputfrom our lighting estimation in order to make objects appear as they are lit correctly by thesun light. This model uses a mathematical technique called Spherical Harmonics Lightingfor real-time realistic rendering.