Automatic airplane detection using deep learning techniques and very high-resolution satellite images

Abstract

Yüksek çözünürlüklü uzaktan algılama (RS) görüntülerinde nesne algılama, karmaşık nesne arka planı ve karmaşık sahneler nedeniyle, özellikle sivil ve askeri uygulamalar için uzaktan algılama görüntü işlemede zor bir sorundur. Otomatik nesne tespiti için en son teknoloji olan derin öğrenme (DL) teknikleri kullanılarak uzaktan algılama alanında birçok araştırma yürütülmüştür ve bu süreçler devam etmektedir. Bazıları başarıları ve diğerleri başarısız oldu. Başarılı araştırmalar da bazı sorunlarla karşılaşmıştır: Yüksek eğitim süresi; düşük algılama performansı; yüksek algılama süresi; zayıf yerelleştirme doğruluğu. Ayrıca, çalışmalarında, farklı modeller aynı veri kümesinde farklı sonuçlara yol açar.Bu tezdeki ana endişe, mevcut modellerin bazılarının farklı bileşenlerini analiz ederek bu sorunların nedenlerini bulmaktır. Bu araştırmada, yüksek çözünürlüklü uydu görüntülerine uygulanan farklı derin öğrenme tekniklerini kullanarak uçak tespit yaklaşımını önerdik. Uçak tespitimiz için Tek Çekim Çok Kutuplu Dedektör (SSD) ve Daha Hızlı Bölge Tabanlı Evrişim Ağı (Faster RCNN) gibi iki farklı iyi bilinen DL tekniği kullanılmıştır. Bu teknikler nesne tespiti için en çok kullanılan derin öğrenme teknikleridir. SSD'ye dayalı yedi model ve daha Faster R-CNN'ye dayalı sekiz model içeren on beş model sunduk. Bağlamda Microsoft Ortak Nesneler (MS COCO) veri kümesi kullanılarak önceden eğitilmiştir. Her model, yukarıda belirtilen problemlerin üstesinden gelmek için nesne mimarisindeki model mimarilerinin ve hiper parametrelerin önemini belirlemek için zamanla spesifik yapı ve hiper parametrelerle yerleşmiştir. Deneyler sırasında, bazı Faster R-CNN modellerinde aşırı uyum sorunu ile karşılaştık, farklı ağırlık değerlerine sahip düzenleyiciler kullanarak sorunu aştık. Modeller, küçük, orta ve büyük ölçekli uçak ve uçak dışı nesnelerden oluşan iyi oluşturulmuş bir veri kümesi ile eğitildi. Ayrıca, veri setimiz WPU-RESISC45 veri seti, WHURS19 veri seti, AID ve ITÜ-UHUZAM gibi farklı kaynaklardan gelen yüksek çözünürlüklü uydu görüntülerinin bir karışımıdır. Bu veri kümelerindeki görüntüleri kullandık çünkü farklı çözünürlüklerde görüntüler, farklı arka planlara sahip farklı sahneler, farklı sensörlerden ve dünya bölgelerinden oluşuyor. Ayrıca, veri kümeleri birçok sahne sınıflandırma ve nesne algılama projesinde kullanılmış ve son teknoloji sonuçlar üretmiştir. Bu kaynaklardan gelen tüm görüntüler çok yüksek çözünürlüklü uydu görüntüleridir ve temel olarak sahne sınıflandırması ve nesne algılama için oluşturulur. Bu çeşitli kaynaklara sahip veri setimiz 1167 görüntüde 7 701 uçak nesnesiyle toplam 1402 görüntüden oluşuyor, diğer görüntüler Jet Düzlemi, Yüksek Bina, Konut, Depolama Tankı ve Havuz gibi uçak dışı nesneler içeriyor. Veri setinin% 80'ini 1 119 görüntüde 6 287 düzlem nesnesiyle, 283 görüntüde 1 414 düzlem nesnesini içeren test için geri kalanı kullandık.Arka plan ve sahne yapılandırmasına bakılmaksızın hızlı eğitim, doğru algılama ve hedefleri tespit etme ile uçak algılama gerçekleştirdik. Sonunda modeller, yüksek çözünürlüklü uydu görüntüleri üzerindeki performansları açısından analiz edildi ve karşılaştırıldı, burada model mimarilerinin ve hiper parametrelerin, örneğin özellik çıkarıcı ve öğrenme oranı ve diğerlerinin önemli bir rolü olduğunu keşfettik. model eğitiminde ve istenen bir nesne algılama sonucunun gerçekleştirilmesinde. Bu araştırmanın, araştırmacıların gelecekteki çalışmalarında ve uygulamalarında yukarıda belirtilen sorunlardan kaçınmaları için yararlı olacağını umuyoruz.

Object detection in high resolution remote sensing (RS) images is challenging problem in remote sensing imagery processing, especially for civil and military application, due to the complex object background and complex scenes. Many researches were conducted and are also under process in the field of remote sensing using deep learning (DL) techniques, a state-of-the-art technique, for automatic object detection. Some of them successes as well as others have failed. The successful researches have also faced some problems: High training time; low detection performance; high detection time; poor localization accuracy. Also, in their studies, different models lead to different results on a same given dataset.The main concern in this thesis is to figure out the reasons of these problems by analyzing different components of some of the available models. In this research, we proposed airplane detection approach using different deep learning techniques applied to high-resolution satellite images. Two different well-known DL techniques such as Single Shot Multibox Detector (SSD) and Faster Region-based Convolutional Network (Faster RCNN) were used for our airplane detection. These techniques are the most used deep learning techniques for object detection. We present fifteen models with seven models based on SSD and eight based on Faster R-CNN. They were pretrained using Microsoft Common Objects in Context (MS COCO) dataset. Each model was settled with specific structure and hyper-parameters over time in order to determine the importance of the model architectures and hyper-parameters in object detection to overcome the above-mentioned problems. During the experiments, we encountered overfitting problem with some Faster R-CNN models, we overcame the problem by using regularizers with different weight values. The models were trained with a well-built dataset composing of small, medium, and large-scale airplane and non-airplane objects. Moreover, our dataset is a mix of images of high-resolution satellite images from different sources such as Northwestern Polytechnical University-REmote Sensing Image Scene Classification (WPU-RESISC45) dataset, WHURS19 dataset, Aerial Image Dataset (AID), and Istanbul Technical University-Center of Satellite Communication and Remote Sensing (ITU-CSCRS) dataset, used in several object detection applications. We used images from these datasets because there are composed of images with different resolutions, different scenes with different backgrounds, from different sensors and earth's regions. Also, the datasets were used in many scene classification and object detection projects and they produced state-of-the-art results. All images from these sources are very high-resolution satellite images and mainly created for scene classification and object detection. Our dataset, with this variety of sources, is composed of 1402 images in total with 7 701 airplane objects in 1167 images other images contain non-airplane objects such as Jet Plane, High Building, Residence, Storage Tank, and Pool. We used 80% of the dataset for training with 6 287 plane objects in 1 119 images and the remaining for testing which includes 1 414 plane objects in 283 images.We achieved airplane detection with fast training, accurate detection, and detecting targets regardless of their background and scene configuration. At the end, the models were analyzed and compared in terms of their performances on high-resolution satellite images, where we found out that the model architectures and hyper-parameters, for instance feature extractor and learning rate and many others, have a significant role in model training and the accomplishment of a desirable object detection result. It is our hope that this research will be beneficial for the researchers to avoid above mentioned problems in their future studies and applications.