Image based solar position editing and relighting

Abstract

Fotoğrafçılar için mükemmel anı yakalamak her zaman zor olmuştur. Fotoğrafın kontrol edilemeyen kısımları en iyi kompozisyonun yakalanmasını imkansız hale getirebilir. Bu çalışmada, kullanıcının fotoğraftaki güneş pozisyonunu değiştirebileceği yeni bir görüntü düzenleme tekniği önerilmiştir. İlk adım olarak fotoğraf piksel bazında gruplara ayrılır. Bu gruplar gökyüzü, bulut, güneş, ufuk çizgisi ve ön plan olarak tanımlanmıştır. İkinci olarak fotoğraftaki eski gökyüzü gerçek zamanlı bir atmosfer ışıklandırma algoritmasının çıktısı ile değiştirilir. Kamera ve atmosfer gibi gökyüzü görüntüsünü değiştirebilecek farklılıkları önlemek için bir renk transfer tekniği bu yeni gökyüzüne uygulanır. Bunun ardından, güneş pozisyonu farklı gökyüzü fotoğraftaki karşılığı ile değiştirilir. Son olarak da fotoğraftaki ön plan ve bulut kısımları yeni gökyüzüyle uyumla olacak şekilde yeniden ışıklandırılır. Bu teknik gerçek zamanlı bir şekilde güneşin oynatılabilmesine olanak sağlarken aynı zamanda otomatik bulunan bir çok parametrenin de kullanıcı tarafından kolaylıkla değiştirilebilmesi için arayüz sunar.

Capturing perfect photos is a challenging task that requires good composition and timing. Failure to achieve them may result in 'missing the moment'. For example, when shooting photos at sunset the sun quickly disappears behind the horizon. In this thesis, a new image editing algorithm is defined to let the user change the sun position in a photo. This is the first study in the literature which tries to solve this particular image editing problem. The algorithm can be divided into three parts. First, the image pixels are segmented into different categories, namely the sky, clouds, sun, horizon, and the foreground. Then, a real-time rendered sky is replaced with the old sky to allow changing the position of the sun. A color transfer algorithm is used to cope with the differences that cannot be accurately deduced from a single photo such as exposure, atmospheric parameters, and the camera response curve. Furthermore, techniques for relighting the cloud and foreground pixels are proposed. Finally, these relighted pixels are blended together by using the labels from the segmentation part of the algorithm to generate the final image. The proposed image editing technique works in real-time to provide instant feedback to the user. It also provides intutive user controls to allow overriding and fine-tuning various automatically detected parameters.