Self-supervised building detection with decision fusion

Abstract

Bu tez çalışmasında monoküler uydu görüntüleri için otomatik bina tespiti yapan Kendinden Denetimli Karar Füzyonu (KDKF) isimli bir çatı önerilmiştir. Bu model, her bir resim için eğitim kümesini insan etkileşimi olmadan otomatik üretmeyi hedef alan, kendinden denetim fikri üzerine kurulmuştur. Bu yaklaşım, denetimli sınıflandırıcıların avantajlarından tam anlamıyla otomatik bir şekilde faydalanma imkânı sağlamaktadır. Elle görüntüleri etiketlemenin zorluğu, diğer objelerin binalara benzeyebilmesi ve binaların çok farklı yapılarda olabilmesi mevcut denetimli ve denetimsiz çalışmaların otomatik tespit ihtiyacını gerçek anlamda karşılamasını engellemiştir. Bu zorlukları aşmak için daha önce yapmış olduğumuz denetimli ve denetimsiz bina tespiti çalışmalarımızı birleştirerek yeni bir kendinden denetimli öğrenme mimarisi önermekteyiz. Denetimsiz çalışmamızın binaların bulunması için oldukça önemli bir ipucu olan bina ile gölgesi arasındaki ilişkiyi kullanabilme yeteneğini alıp, bunu denetimli yaklaşımlar için çok önemli olan eğitim verisinin oluşturulması probleminde kullanmaktayız. Denetimli çalışma ise bize farklı sınıflandırıcıların sonuçlarını, Bulanık Yığılmış Genelleme (BYG) adındaki sıradüzensel bir mimaride birleştirme imkanı sağlamaktadır.Önerilen metot üç adım içermektedir: ilk adımda, pan-keskinleştirme ve bölütleme sonrası yeşil alan, gölge ve dikdörtgen alanları içeren maskeler çıkartılır. Sonraki adımda bu maskeler kullanılarak her bir resim için pozitif ve negatif örnekler seçilir. Son adımda, çıkartılan bu örneklerden oluşan eğitim verisi BYGde kullanılır.Anahtar Kelimeler: bina tespiti, kendinden denetimli, uzaktan algılama, karar füzyonu, uydu görüntüleri

This thesis proposes a new building detection framework for monocular satellite images, called Self-Supervised Decision Fusion (SSDF). The model is based on the idea of self-supervision, which aims to generate training data automatically from each individual test image, without any human interaction. This principle allows us to use the advantages of the supervised classifiers in a fully automated framework. The technical shortcomings of the available supervised and unsupervised algorithms, such as difficulties in manual labeling of the images to extract the training data, large inter-class variances and a wide variety of buildings, prevent the previous studies to satisfy the need of robust autonomous detection systems. We attempt to overcome these problems by combining our previous supervised and unsupervised building detection frameworks to suggest a self-supervised learning architecture. We borrow the major strength of the unsupervised approaches in order to obtain one of the most important clues, the relation of a building and its cast shadow in order to solve the major problem of training of the supervised approaches. Furthermore, supervised study allows us to combine the detection results of multiple classifiers under a hierarchical architecture, called Fuzzy Stacked Generalization (FSG).The suggested method involves three major steps: In the first step, after pan-sharpening and segmentation process several masks are extracted to represent the invariant information about the building object. These masks are vegetation, shadow and rectangular structure masks. In the second step, by employing these masks negative and positive samples are selected from each image layout. Finally, the training data extracted in the second step is used to train FSG.Keywords: building detection, self-supervision, decision fusion, remote sensing