Semantic land cover and land use classification using deep convolutional neural networks

Abstract

Son yıllarda, sinir ağlarının halefi olan derin öğrenme, özellikle bilgisayar görüşü, konuşma tanıma ve doğal dil işleme gibi alanlarda son teknoloji bir yaklaşım haline gelmiştir. Sinir ağları yüksek performanslı bilgi işlem, algoritmik iyileştirmeler ve büyük veriler gibi faktörler ile hayata geçirilen yerleşik bir yapay zeka dalıdır. Geçtiğimiz yıllarda büyük veri yapıları uzaktan algılama konusunda da büyük önem kazanmıştır. Uzaktan algılama, özellikle Dünya olmak üzere fiziksel temas kurmadan bir nesne veya fenomen hakkında bilgi edinmektir. Bu tanım, geleneksel uzaktan algılama alanlarını, örn. uydu ve hava fotoğrafçılığını kapsamakla birlikte, insansız hava araçları (İHA) ve kitle kaynak kullanımı (telefon görüntüleri, tweetler, vb.) alanlarını da içerir. Son yıllarda yüksek çözünürlüklü gözlem uydularının sayısı giderek artmıştır. Avrupa Kopernik programında geliştirilen Sentinel uyduları ve ABD Jeolojik Etütleri (USGS) ile Ulusal Havacılık ve Uzay İdaresi bünyesindeki Landsat uydularının elde ettiği verilerin hepsine operasyonel olarak erişim serbesttir. Elde edilen bu büyük verilerin incelenmesi ve analiz edilmesi uzaktan algılama konuları için önem arz etmektedir. Özellikle şehir planlama, tarım rekoltesi hesaplama, iklim değişikliğinin incelenmesi, arazi kullanımı ve arazi örtüsünün sınıflandırılması konularında kullanılır.Uzaktan algılanmış verilerin yeryüzüne ait bilgiye dönüştürülmesinde kullanılan en önemli yöntemlerden biri görüntülerin sınıflandırılmasıdır. Sınıflandırma işlemi, benzer spektral özellikleri taşıyan nesnelerin gruplandırılmasıdır. Sınıflandırma işlemi için genellikle iki farklı yaklaşım kullanılır. Bu yaklaşımlar kontrollü ve kontrolsüz sınıflandırma olmak üzere ikiye ayrılır. Kontrollü sınıflandırma metodu eğitim veri seti kullanılarak sınıflandırmayı içerir. Bu yaklaşım ile daha yüksek doğruluklar elde edildiğinden en çok tercih edilen yöntemdir. Bunun yanı sıra geleneksel sınıflandırma yöntemleri olarak en çok benzerlik sınıflandırıcısı ve histogram eşitleme yöntemi örnek olarak verilebilir. Bu yöntemler el becerisi ile elde edilen özellikler içerdiğinden üzerinde çalışılmamış görüntüler ile iyi sonuç vermemekle birlikte sonuçların oluşturulması uzun zaman alabilir. Literatürde bugüne kadar uzaktan algılanmış görüntülerin sınıflandırılmasına yönelik daha karmaşık çeşitli algoritmalar geliştirilmiştir. Bu yöntemlerden bazıları destek vektör makineleri, karar ağaçları, markov rastgele alanı, koşullu rastgele alan ve bulanık mantık sınıflandırıcıdır. Fakat bu metotların büyük boyutlu eğitim verilerinden faydalanamadığı, kısıtlı eğitim verisi ile üzerinde çalışılmış görüntüler üzerinde etkili olduğu araştırmalarla ortaya konmuştur. Arazi örtüsü ve arazi kullanımı sınıflandırması, her görüntü pikselinin ya yüzeyin fiziksel malzemesini (arazi örtüsü) veya sınıfın sosyo-ekonomik işlevini tanımlayan her bir nesneyi (arazi kullanımı) gösteren bir sınıf etiketi ile ilişkilendirildiği standart bir uzaktan algılama problemidir. Bu nedenle, arazi kullanım nesneleri birçok farklı arazi örtüsü elemanından oluşan karmaşık yapılardır. Karmaşık doğası nedeniyle, başarılı bir arazi örtüsü arazi kullanımı haritalaması için hem spektral hem de mekansal özelliklerin dahil edilmesi gerekir. Derin öğrenme algoritmaları bu iki özelliği de kullanarak sınıflandırma yapabilmesi açısından arazi örtüsü arazi kullanımı haritalaması için kullanılan en gelişmiş modellerdir. Artan erişilebilir veri miktarıyla birlikte, derin öğrenme uygulamaları öne çıkmıştır. Destek vektör makinesi ve karar ağacı gibi makine öğrenme yaklaşımlarıyla karşılaştırıldığında, derin öğrenme uygulamaları büyük verilerin kullanımı ile büyük umut vaat etmektedir. Mevcut derin öğrenme modellerinden Derin İnanç Ağları, Yığınlaşmış Otomatik Kodlayıcı ve Evrişimsel Sinir Ağları uzaktan algılama problemlerinde etkin olarak kullanılmaktadır. Görüntü sınıflandırmada en iyi bilinen derin öğrenme modeli olan Evrişimsel Sinir Ağları uzaktan algılama görüntülerinin işlenmesi için de büyük ilerleme göstermektedir. Evrişimsel Sinir Ağları nesne algılama, segmentasyon ve sınıflandırma gibi uzaktan algılama uygulamalarında sığ yapılı makine öğrenme araçlarından daha iyi performans göstermektedir.Bir derin öğrenme mimarisi olan Evrişimsel Sinir Ağları, özellikle görüntü sınıflandırmada kullanılır. Evrişimsel sinir ağları, eğitilebilen birçok katmandan oluşmaktadır. Çok katmanlı mimarisi sayesinde görüntülerden öznitelik çıkarma konusunda oldukça başarılıdır. Her katmanın kendine ait öznitelik havuzlama katmanı, filtre banka katmanı ve doğrusal olmayan katmanı bulunmaktadır. Filtre banka katmanı farklı öznitelikler çıkarılması için birçok çekirdek bulundurur. Havuzlama katmanında elde edilen öznitelik haritaları tek tek ele alınır. Her harita maksimum değerinin veya komşu değerinin ortalamasının elde edilmesini sağlamaktadır. Görüntü önce parçalara ayrılır ve her parçaya filtre uygulanır. Filtre işleminden sonra görüntüde küçülme meydana gelir. Bu işlem sonucunda elde edilen pikseller anlamlandırılarak sınıflandırma problemi çözülmeye çalışılır.Evrişimsel Sinir Ağları mimarileri giderek daha karmaşık ve derin bir yapıya evrilmiştir. Yann Lecun tarafından geliştirilen LeNet modern anlamda görüntü işlemede kullanılan ilk derin mimariye sahip evrişimsel sinir ağıdır. Akabinde 2012 yılındaki ILSVRC (ImageNet Large-Scale Visual Recognition Challenge) yarışmasında Alex Krizevhsky tarafından geliştirilen AlexNet görüntü sınıflandırma ve tanıma alanında büyük bir başarı sağlamıştır. Bu başarının ardından Evrişimsel Sinir Ağları görüntü işlemede sıkça kullanılmaya başlamıştır. İzleyen yıllarda ILSVRC yarışmasında önde gelen mimariler VGGNet, ResNet ve GoogleNet olmuştur. Oldukça derin mimariye sahip modern evrişimsel sinir ağlarını spesifik bir sınıflandırma problemi için sıfırdan eğitmek uzun hesaplamalar gerektirir. Fakat çok katmanlı yapısı sayesinde farklı verilerle eğitilmiş ağlar başka bir sınıflandırma problemi için kullanılabilir. Nesnelerin oluşturduğu çizgiler ve köşeler gibi kavramlar ağların aşağı katmanlarında öğrenilir. Yukarı katmanları ise yeniden eğitilerek istenilen sınıflandırma problemine uyarlanır. Böylece etiketli veri bulmanın zahmetli olduğu alanlarda başarılı sonuçlar elde edilebilir. Günümüzde açık kaynak olarak kullanılabilen ağlar ImageNet veriseti ile eğitilmiş olup bir çok farklı alanda kullanılmak üzere ince ayar yapılabilir. Uzaktan algılama problemlerinde literatüre bakıldığında önceden eğitilmiş ağların nesne tanıma ve sınıflandırma gibi konularda başarılı sonuçlar verdiği görülmüştür.Bu tez çalışmasında, Inception-ResNet-V2 ve Inception-v4 adlı iki önceden eğitilmiş Evrişimsel Sinir Ağı modeli, uydu görüntülerini sınıflandırmak için kullanılmıştır. Sınıflar havaalanı, yoğun yerleşim alanı, orman, çevre yolu, golf sahası, arazi yolu alanı, sanayi bölgesi, kavşak, çayır, orta ölçekli yerleşim alanı, üst geçit, otopark, dikdörtgen tarım arazileri, nehir, pist, seyrek yerleşim alanı, depolama tankı, tenis kortu ve teras olmak üzere 20 adettir. Eğitim verisi olarak her sınıf için 700 görüntü kullanılmıştır. Worldview-3 uydu sensöründen elde edilen sahneler ağın performansını değerlendirmek için test seti olarak kullanılmıştır. Önerilen ağlar, 1000 test görüntüsünde %91.2 ve %87.2 doğruluğa ulaşmıştır.

In recent years, deep learning (DL), the successor of neural networks (NNs), has become the state-of-the-art approach in areas particularly, computer vision (CV), speech recognition and natural language processing. (NN) is an established branch of artificial intelligence that has been brought to life due to factors such as high-performance computing, algorithmic improvements and big data. In the field of remote sensing big data has also become the norm. Remote sensing is obtaining information about an object or phenomenon without making physical contact, especially the Earth. The definition includes the conventional areas of remote sensing, e.g. satellite and aerial photography. However, remote sensing also covers areas such as unmanned aerial vehicles (UAVs) and crowdsourcing (telephone images, tweets, etc.). Several satellites were launched in the last five years with high spatial resolution such as Sentinel-1A/B and Sentinel-2A within the European Copernicus program, and Landsat-8 within the U.S. Geological Survey (USGS) and the National Aeronautics and Space Administration. All of these data sets are free to access on operational basis.Land use and land cover classification is a standard remote sensing task where each image pixel is either associated with a class label indicating the physical material of the surface(land cover) or each object describing the socio-economic function of the land(land use). Therefore, land use objects are complex structures consist of many different land cover elements. Due to its complex nature, both spectral and spatial features need to be incorporated for a successful land use/land cover mapping. Experiments to combine both of these features based on the Conditional Random Field (CRF) model, Markov Random Field model and Composite Kernel (CK) method have been carried out. Nevertheless, in most cases, the process of extracting extensive number of features for the intent of supervised classification is time consuming and requires comprehensive knowledge to extract useful features. In addition to that, hand-crafted methods that are used for classification mainly relies on low-level features and produce inadequate classification results. With the increasing amount of accessible data, application of deep learning for overcoming these challenges has become prominent. Compared to machine learning approaches such as Support Vector Machine (SVM) and Random Forest (RF) deep learning shows great promise with the use of big data. Current deep learning models are Deep Belief Net (DBN), Stacked Auto-Encoder (SAE), and Convolutional Neural Network's (CNN). Most well-known deep learning model (CNN) shows great progress for processing of remote sensing imagery. (CNN's) outperform shallow-structured machine learning tools in remote sensing applications such as object detection, segmentation and classification.In this thesis, two pre-trained CNN models namely Inception-ResNet-V2 and Inception-v4 are used to classify scenes from satellite imagery. There are 20 classes with 700 images each such as airport, chaparral, dense residential, forest, freeway, golf course, ground track field, industrial area, intersection, meadow, medium residential, overpass, parking lot, rectangular farmland, river, runway, sparse residential, storage tank, tennis court and terrace. Scenes acquired from Worldview-3 satellite sensor are used to evaluate the performance of the network. Suggested networks reached %91.2 and %87.2 accuracy over the 1000 test image.