Matching day and night location images using sift and logistic regression

Abstract

Bu tez çalışmanın amacı gece ve gündüz çekilen aynı lokasyon imgelerinin eşleştirilmesidir. Benzerliğe bağlı imge eşleştirme bilgisayar görmesinde nesne tanıma, lokasyon tanıma ve robotik gezintide karşılaştığımız gibi birçok uygulamada önemli bir problemdir. Günün farklı koşulları altında çekilen görüntülerin eşleştirilmesi birçok uygulamada istenen bir yetenektir. SIFT (Ölçekten Bağımsız Öznitelik Dönüşümü- Scale Invariant Feature Transform) bir nesne veya mekân görüntülerinin tanınması ve eşleştirilmesinde sıkça kullanılmaktadır. SIFT yöntemi belirli oranda ışık normalizasyonu yapmaktadır. Ancak bir mekânın gündüzden geceye kadar olan zaman diliminde alınan görüntüleri eşleştirme yapıldığında aynı başarıyı gösteremediği görülmektedir. Özellikle gece gündüz resimlerinin eşleştirilmesine başarılı olamamaktadır. Bu başarının düşmesinin sebebi havanın kararmasıyla ve ışıkların devreye girmesiyle birlikte imge üzerinde ciddi değişiklikler meydana gelmektedir. Bu çalışmada SIFT özniteliklerinin eşleşme başarımının gün ışığı değişimi ile nasıl değiştiği nicel olarak ortaya konulmaktadır. Tez çalışmada eşleşme kararı için Lowe'un önerdiği ölçüt veya doğrudan uzaklık eşiklemesine alternatif olarak sınıflandırıcı tabanlı bir eşleşme yöntemi önerilmektedir. Bu çalışmada logistik regresyon sınıflandırıcı kullanılmıştır. Logistik regresyon gece ve gündüz imgelerinden çıkarılan SIFT tanımlayıcı vektörlerini eşleştirmek için kullanılmıştır. Sınıflandırıcı hazırlanmış eğitim setiyle eğitilir ve yeni gelen örneklerle ile test edilir. Gündüzden geceye çekilen lokasyon imgelerini kullanarak yaptığımız deneyde bu iki eşleştirme yöntemleri karşılaştırılmıştır. İmgeler üzerindeki anahtar nokta eşleşme sayılarına bakılarak elde edilen hatırlama(precision) değerleri her iki yöntemde de yüksek çıkmıştır fakat eşleşmesi gereken birçok anahtar noktanın kaçırıldığı görülmektedir. Hassasiyet(recall) değerlerine baktığımız zaman logistik regresyonla sınıflandırma yönteminin daha iyi sonuçlar verdiği görülmektedir.

The purpose of this thesis is to match day and night urban scene images. Matching images based on similarity of their content is a computer vision problem that we face in many applications such as object and location recognition, scene understanding, robotic navigation, stereo reconstruction, etc. Being able to match images of the same location across different time of day conditions is a desired capability for many applications. SIFT is a method widely used for matching images of location or recognizing objects in an image. The method can handle light varying condition at some points. However, the degree of success decreases when we try to match images of locations taken at day to until night time period. Especially, the success of matching between day time image and night time image is very low. The reason of lower success is because it becomes very different image with nightfall and turning on lights. In this study, we examined how the performance of SIFT method diminishes with the change of daylight. We propose a novel method for scene matching based on classification; we examined and compared the proposed method with the generally used distance and threshold based matching approach. Logistic regression classifier is used to match SIFT descriptors extracted from day and night images. The classifier is trained and tested with ground truth training set we collected and extracted using a fixed camera and image alignment. In our experiment with images of urban scene taken started from day till night, we make success comparison with Lowe's proposed threshold criterion method and logistic regression classification method. As a result, if we look at number of matching feature point pairs on images, the precision of two methods is high but it misses many possible matching feature point pairs, thus we identify the recall rate as the primary problem. According to the experimental results, logistic regression classification achieves better recall rates.