Object detection in aerial and satellite images

Abstract

Çok yüksek çözünürlüklü uydu görüntüleri ve hava fotoğrafları araştırmacılara önemli bilgiler sunmaktadır. Bunların ticari olarak bulunabilir olması ile birlikte, bu görüntülerden insan yapımı nesnelerin çıkarımına ilgi oldukça artmıştır. Bu nesnelerin arasında binaların, yolların ve yerleşim bölgelerinin sınırlarının bulunması özellikle belediyeler, bazı bakanlıklar, arama kurtarma ekipleri, askeri birlikler ve diğer sivil kuruluşlar için önemli rol oynamaktadır. Bu önemli bilgilerin uzman bir kişi tarafından çıkarılması çok uğraştırıcı ve hatalara açıktır. Ne yazık ki, alışılagelmis görüntü işleme ve örüntü tanıma teknikleri ile bu probleme çözüm bulmakmümkün değildir.Bu çalışmada, uzaktan algılanan görüntülerde insan yapımı nesneleri tanıma amacı ile yerel ve yarı-yerel özniteliklerden (SIFT, Gabor, gradyan ve renk değişmezleri gibi) yararlanarak yeni yöntemler önerdik. Bu değişmez öznitelikler faklı görüntüleme şartları altında (aydınlanma, bakış açısı gibi) nesne tanıma için oldukça güçlüdürler. Ancak, değişmez özniteliklerin çıkarımı nesne tanımak ve yerini tespit etmek için yeterli değildir. Bu nedenle, yapısal özellikleri ortaya çıkarmak ve nesneyi tespit edebilmek için probleme graf teorisi, olasılıksal yöntemler ve alan temelli yöntemlerden faydalanarak çözüm önerdik. Bu matematiksel tekniklere dayanarak, öncelikle yerleşim bölgelerinin sınırlarını tespit ettik. Bulunan yerleşim biriminin kentleşme derecesini tespit edebilmek için bazı ölçütler önerdik. Yerleşim bölgelerinin sınırlarını bulduktansonra ayrık binaları ve yolları tespit edebilmek için yöntemler geliştirdik. Ayrık binaları tespit ettikten sonra bina şekillerini ve hasarlı binaları otomatik tespit edebilmek için yeni yöntemler önerdik. Yolları bulmak için de yerel öznitelikleri ve renk bilgisini kullanan yöntemler önerdik. Algoritmalarımızın dayanıklılığını test edebilmek için birbirinden oldukça farklı çok yüksek çözünürlüklü uydu görüntülerinden ve hava fotoğraflarından oluşan ver seti kullandık. Deneysel sonuçlar, önerdiğimiz nesne tanıma yöntemlerinin çeşitli görüntülerden oluşan veri seti üzerinde yüksek başarım ile çalıştığını ve yöntemlerin pratik kullanılabilirliğini göstermektedir.

Very high resolution satellite and aerial images provide valuable information to researchers.With their availability, there has been much interest to extract man-made objects from such imageries.Among these, detection of objects such as buildings, road segments, and urban areaboundaries play crucial roles especially for municipalities, government agencies, rescue teams,military, and other civil agencies. For a human expert, manually extracting this valuable informationis tedious and prone to errors. One possible solution to extract this information isdeveloping automated techniques. Unfortunately, the solution is not straightforward if standardimage processing and pattern recognition techniques are used.In this thesis, we propose new approaches using several local and semi-local invariantfeatures (such as SIFT, Gabor features, gradient features, and color invariants) to automaticallydetect man-made objects in remotely sensed images. These invariant features are very powerfulin detecting objects under various imaging conditions (like illumination, viewing angle, etc).However, extraction of invariant features is not sufficient for detecting objects. Therefore, wefurther formalize the problem by developing graph theoretical, probabilistic, and region basedmethods, to extract structural information to verify object appearance. Using these mathematicaltechniques, we first develop methods to detect urban area boundaries. We also formulate somemeasures to estimate the degree of urbanization in detected urban areas. Having detected urbanarea boundaries, we develop our algorithms to detect separate buildings and road segments inthese regions. Besides, we also developed novel methods to find approximate building shapesand to estimate damaged structures in color images. To detect road segments, we proposed twomethods using local features and color information separately. We tested the robustness of ouralgorithms using a diverse data set including very high resolution panchromatic Ikonos satelliteand aerial images. Experimental results indicate the high performance and usefulness of ourobject detection approaches on such a diverse image dataset.