Increasing robustness in appearance-based spatial cognition

Abstract

Bu tezde, robotlarda görünüşe dayalı uzamsal anlamlandırmanın dayanıklı bir hale getirilmesi üzerinde çalışılmıştır.Çalışmada, görünüşlerde ışık değişmezliği ve yer tanıma olmak üzere iki farklı konu göz önünde bulundurulmuştur.Işık değişmezliğinin hedefi, görünüşün farklı ışık koşulları altında değişmemesidir.Bu çerçevede, daha önce geliştirilmiş olan dört yöntemin yanı sıra yeni bir yöntem önerilmiştir.Bu konular için üretilen çözüm iki aşamada gösterilmiştir.Birinci aşamada, robotun kamerasından elde edilen görüntülerin tekrar yapılandırması ile, robotun çevresindeki ışık değişikliklerine dayanıklı bir şekilde herhangi bir tanımlayıcı ile yorumlayabilmesi sağlanmıştır.Işık değişmezliği e robotun bir ortamdaki yerleri birbirinden ayırt edebilmesi ve tekrar ziyaret ettiği bir yeri ışık koşullarından bağımsız olarak tanıyabilmesi hedeflenmiştir.Geniş kapsamlı karşılaştırmalı deneyler yapılarak uygulanan yöntemlerin görünüş benzerliği, yer sezinleme ve yer tanıma başarımları ölçülmüştür.İkinci aşama ise robotun uzamsal hafızası üzerine yoğunlaşmıştır.Bu aşamada sade fakat etkin bir yöntem uygulanarak yer öğrenme ve yer tanıma performansının geliştirilmesi üzerine çalışılmıştır.Sezinlenen yerler küçük parçalara ayrıştırılarak o yere ait yalnızca temel görünümler içeren ``alt yerler'' oluşturulmuştur.Böylece, yer öğrenme ve tanıma için o yere ait bütün görünümleri kullanmak yerine, o yerin içerdiği temel görünümler değerlendirilmiştir.Temel görünümler sayesinde, bir yerin içerisindeki dominant /textit{alt yerlerin} kullanılarak tanınması ve böylece daha yüksek bir başarım göstermesi kesinleştirilmiştir.Birinci aşamaya benzer olarak, çeşitli veri kümeleri üzerinde ve ayrıca robot üzerinde gerçek zamanlı ``alt yerler'' yaklaşımının kullanıldığı ve kullanılmadığı deneyler karşılaştırmalı olarak gerçekleştirilmiştir.Deneylerde yer öğrenme ve tanıma başarımlarındaki değişim ayrıntılı şekilde ele alınmıştır.

This thesis is concerned with the robustness of robots' spatial cognition.Two separate issues are considered: Illumination invariance and place recognition.Illumination invariance ensures that appearances of the same scene under different illumination conditions do not change.Four existing approaches are considered as well as a new approach is proposed in this framework.Aforementioned two issues are addressed in two stages individually.In the first stage, appearances collected from robot's image sensor are reconstructed in order to make robot interpret surrounding environment robust to illumination variations by using any descriptor.Illumination invariant appearances are employed so that robot is able to both distinguish one place from another in a single environment and recognize any place regardless of the change in the illumination conditions.An extensive comparative experimental evaluation serves to demonstrate how each method performs with respect to appearance similarity, place detection and place recognition.On the other hand, the second stage focuses on robot's spatial memory.Simple yet efficient method is proposed in order to address the place learning and recognition performance issues.Detected places are clustered into smaller place clusters called ``subplaces'' where each subplace includes canonical appearances associated with the corresponding place.Thus, canonical appearances are evaluated for learning and recognition instead of employing the whole place.It guarantees that only dominant appearances in a place are recognized and thus achieves a better performance by the help of these canonical views.Likewise in the first stage, comparative experiments are conducted on various datasets and on the robot in real time with and without subplace approach.Learning and recognition performance alterations are discussed in detail.