Super resolution methods for remote sensing images

Abstract

Uzaktan algılama görüntülerinde çözünürlük, mekansal, spektral, radyometrik ve zamansalçözünürlük olmak üzere dört gruba ayrılır. Bu tez, tek veya çok çerçeveli dü¸sükçözünürlüklü uzaktan algılama görüntülerinin mekansal çözünürlü˘günü arttırmayıhedeflemektedir. Mekansal çözünürlük, algılayıcı tarafından kaydedilen görüntününen küçük detayı olarak tanımlanabilir. Yani, uydu görüntülerinde, yeryüzündeki ayırtedilebilen en küçük objenin boyutu mekansal çözünürlüktür. Sensörlerin boyutunuarttırarak veya lensleri iyile¸stirerek kamera teknolojisini geli¸stirmek görüntülerindaha iyi algılanmasını sa˘glar ve görüntü çözünürlü˘günü arttırmada birincil sıradakiseçenektir. Ancak uydu görüntüleri uygulaması için, fırlatılmı¸s bir uydunun opti˘ginidaha iyi bir teknolojiyle de˘gi¸stirmek imkansıza yakındır. Bu nedenle yazılım tabanlıbir geli¸stirme gereklidir. Bir bölgeyi daha fazla pikselle göstermeye çalı¸sma dü¸süncesiteoride do˘grudur ancak yeterli de˘gildir. Yani, sadece görüntünün boyutunu arttırmaktek ba¸sına bir çözüm de˘gildir. ˙I ¸ste bu çözünürlük arttırma problemi için süperçözünürlük metotları mevcuttur. Bu çalı¸sma literatürde, süper çözünürlükle görüntüiyile¸stirme olarak kullanılmaktadır.Bu tez kapsamında ilk önce, uydu görüntülerine çok çerçeveli süper çözünürlükuygulanmı¸stır. Çok çerçeveli süper çözünürlük uygulaması, özellikle uzaktan algılamaverilerinin yüksek boyutları nedeniyle zordur. Ayrıca, hem birden fazla uydu görüntüsüsa˘glamanın maliyeti hem de bir bölgenin yakın tarihli birden fazla kez çekilmi¸s uydugörüntülerinin azlı˘gının neden oldu˘gu veri kısıtlaması nedeniyle uzaktan algılamagörüntüleri için çok çerçeveli süper çözünürlük çok yaygın de˘gildir. Bu yönteminuygulanabilirli˘ginin olması için, aynı alana ait farklı açılardan çekilmi¸s görüntülerintemin edilmesi gerekir. Yani, görüntüler aynı yeri farklı bakı¸s açısıyla çekerek,birbirinden farklı bilgilere sahip olmalıdırlar. Bu farklı bilgiler, alt piksel kaymasıdenilen görüntüler arası kayıklı˘gın hesaplanmasıyla elde edilir. Bu tezde, özgünbir veri uygulaması olarak tri-stereo görüntülerle süper çözünürlük sunulmu¸stur.Tri-stereo uzaktan algılama görüntüleri, bir uydunun yörüngesi boyunca aynıbölgeden, üç farklı açıdan alındı˘gı için, çok çerçeveli süper çözünürlük uygulamasıiçin uygundur. Uygulama için, öncelikle bu üç görüntüden bir tanesi referans görüntüolarak seçilir. Referans görüntü, algılandı˘gı açıya göre belirlenir. NADIR'e enyakın olan görüntü yapılan her uygulamada referans görüntüdür. Bunun sebebi, YerOrnekleme Mesafesi NADIR'e yakın olan görüntüde en iyi oldugundandır. Dahasonra bu referans görüntünün di˘ger görüntülerle olan alt piksel kayması hesaplanır.Bu tezdeki çok çerçeveli süper çözünürlük uygulamaları sırasında, ölçü faktörü olarak`2` seçilmi¸stir. Yani, görüntünün çözünürlü˘gü `2` katına çıkarılmaya çalı¸sılmı¸stır.Süper çözünürlük teorisine göre, dü¸sük çözünürlük görüntüler, yüksek çözünürlüklügörüntününü alt örneklenmi¸s, bulanıkla¸smı¸s ve kaydırılmı¸s halidir. Bu durumdadü¸sük çözünürlüklü görüntüler, yüksek çözünürlüklü görüntü cinsinden yazılabilir.Alt örnekleme de˘geri ölçü faktörüyle e¸sit ve `2`'dir. Bulanıkla¸sma algılayan opti˘ginlensinden kaynaklandı˘gı için bulanıkla¸sma de˘geri bütün görüntüler için e¸sittir çünkügörüntüler aynı optikle algılanmaktadır. Kayma parametreleri tam sayı olmamalı,yani görüntüler birbirlerinden elde edilememelidirler. Bu bilgiler ı¸sı˘gında, süperçözünürlük teorisine göre operatörler üretilmi¸s ve ters i¸slem gerçekle¸stirilerek yüksekçözünürlüklü görüntüye ula¸sılmaya çalı¸sılmı¸stır. Bu operatörler seyrek matrislerdirama boyutları çok yüksek oldu˘gundan bu uygulamanın hesaplama süresi yüksektir.Çünkü her piksel için ayrı ayrı i¸slem yapılmaktadır. Di˘ger yandan uydu görüntülerininboyutları da normal kamerayla çekilen görüntülerle kıyaslanamayacak kadar büyüktür.Ayrıca, bu tezde kullanılan multispektral uydu görntüleri 4 bantlıdır ve matematikselsüreç bu 4 banda ayrı ayrı uygulanmaktadır. Pankromatik görüntü uygulamalarındaaynı durum geçerli de˘gildir, çünkü pankromatik görüntüler yalnızca tek bantlıdır.Bu nedenle pankromatik görüntülerde yapılan uygulamalar daha hızlıdır. Çokçerçeveli süper çözünürlük uygulamasında kenarları korumak amacıyla düzenlememetotları olan Toplam Varyans ve Tikhonov kullanılmı¸stır. Uygulama, metotundo˘grulu˘gunu ölçmek amacıyla önce sentetik verilerle denenmi¸stir. Bunun için önce biruydu görüntüsü alt örneklenip, bulanıkla¸stırılıp ve farklı parametrelerle kaydırılarakdü¸sük çözünürlüklü görüntüler yaratılmı¸stır. Daha sonra mevcut yöntem bu dü¸sükçözünürlüklü görüntülere uygulanmı¸stır. Bu sayede, yeni olu¸sturulan görüntü veilk ba¸staki orijinal görüntü birbirleriyle kar¸sıla¸stırılabilir duruma gelmi¸stir. Buyöntem görüntü füzyonu uygulamalarında da sıkça kullanılmaktadır. Görüntüler çe¸sitlimetrikler yardımıyla kar¸sıla¸stırılır ve metrik de˘gerleri ikna edici bir seviyeye ula¸stıktansonra metodun ba¸sarılı oldu˘gu sonucuna varılır. Bu tür uygulamalarda genelliklebikübik interpolasyonla geni¸sletilmi¸s görüntüyle kar¸sıla¸stırma yapılır. Bu tezde debu görüntüyle kar¸sıla¸stırılmı¸stır. En son, metot, gerçek verilere uygulanmı¸stır. Buda görüntülerin çözünürlü˘günü görsel olarak iyile¸stirmeye yaramaktadır. Yani tezinamacına ula¸stı˘gı sonuçlar bu sayede elde edilmektedir.Tezin ikinci katkısı derin ö˘grenme ile tek çerçeveli süper çözünürlük metodunun uydugörüntülerine uygulanmasıdır. Derin ö˘grenme, makine ö˘grenme algoritmalarının engeli¸smi¸s hali olarak kabul edilir ve son yıllarda bilim ve teknolojide en çok uygulamasıyapılan konulardan bir tanesidir. Derin ö˘grenmenin di˘ger algoritmalardan en büyükfarkları, ö˘grenilen parametrelerin sayısının ve e˘gitime giren veri sayısının çok fazlaolmasıdır. Bu yöntem, görüntü sınıflandırma, video analizi, konu¸sma tanıma vedo˘gal dil ö˘grenme süreci dahil olmak üzere çe¸sitli uygulamalarda çı˘gır açmı¸stır.Son olarak, bir derin ö˘grenme metodu olan konvolüsyonel sinir a˘gları, iki farklısüper çözünürlük uygulamasında kullanılmı¸s ve ba¸sarılı olmu¸stur. Bu uygulamalarınfarklılı˘gı a˘g modellerinin derinli˘gi, filtre sayıları ve filtre boyutlarının farklılı˘gındankaynaklanmaktadır. Derin ö˘grenme uzaktan algılamada da bir çok uygulamadakullanılmaya ba¸slanmı¸stır. Ancak, uydu görüntüleri için konvolüsyonel sinir a˘glarıile süper çözünürlük ilk kez bu tezde kullanılmı¸stır. Konvolüsyonel sinir a˘gları, yapaysinir a˘gları ile belli boyuttaki filtrelerin e˘gitilmesiyle olu¸sturulur. Derin ö˘grenmedea˘gların mimarisi çok fazla de˘gi¸skenlik göstermektedir. Buradaki filtre sayılarıve filtre boyutları uygulamadan uygulamaya de˘gi¸smektedir. Bu süper çözünürlükuygulamalarında kulanılan iki a˘g modeli birbirleridnen farklıdır. E˘gitim a¸samasındansonra olu¸sturulmu¸s bu modeller bu tezde kullanılmı¸stır. Kullanılan modeller tek kanallıuydu görüntüsüne uygulanmaya uygun oldu˘gu için, uzaktan algılama verilerine IHSdönü¸sümü yapılmı¸s, daha sonra önceden e˘gitilmi¸s konvolüsyonel sinir a˘gları modelleriuzaktan algılama görüntülerine uygulanmı¸stır. Metotlar sadece Yo˘gunluk kanalına uygulanmı¸s, daha sonra ters IHS dönü¸sümüyle renkli görüntü tekrardan elde edilmi¸stir.Bu sayede, hesaplama yükü azaltılmı¸stır. Kullanılan modellerin ikisi de görsel olarakiyi sonuç verse de bir tanesi di˘gerine göre metrik de˘gerlerine bakıldı˘gında çok dahaiyi sonuç vermi¸stir. Metrik olarak SSIM, PSNR, SAM ve ERGAS kullanılmı¸stır. Çokçerçeveli süper çözünürlük de oldu˘gu gibi, bu uygulamada da sentetik veri üretilip,ula¸sılan sonuç ilk görüntüyle kar¸sıla¸stırılmı¸stır. Daha sonra görsel iyile¸stirme sonuçlarıelde edilmi¸stir. Çok çerçeveli çözünürlük uygulamasında çözünürlük arttırma katsayısı 2 iken, bu uygulamada 2, 3 ve 4 kat uygulamaları yapılmı¸stır. ˙Iyi sonuçveren modelin, a˘g mimarisi di˘gerine göre daha derindir. Bir tanesi yalnızca 3 katmanolu¸suyorken, daha derin model 20 katmandan olu¸smaktadır. 3 katmanlı olan yalnızcaSSIM de˘gerlerinde iyi sonuçlar vermi¸stir.Veri olarak, ˙ITÜ Uydu Haberle¸smesi ve Uzaktan Algılama Merkezinin sa˘glamı¸soldu˘gu SPOT ve Pleiades uydularının görüntüleri kullanılmı¸stır. SPOT multisepktralgörüntüsünün mekansal çözünürlü˘g 6 metre, pankromatik görüntüsününü 1.5 metredir.Pleiades'inki ise multisepktral için 2 metre, pankromatik için 0.5 metredir. Pleiadesiçin yer örnekleme aralı˘gı yakla¸sık 0.70'tir. Örne˘gin bir Pleiades tri stereo üçlüsüiçin ba¸slangıç açıları sırasıyla 2.802, 6.846 ve 7. 188'dir. Bu uygulamalardabazı kısıtlamalar da vardır. Uydu, tri-stereo görüntüleri yakla¸sık 30 saniyefarkla almaktadır. Özellikle kalabalık ve trafi˘gi çok olan ¸sehirlerde, 30 saniyedebile, görüntüler arası hareket göze çarpmaktadır. O nedenle elde edilen yüksekçözünürlüklü görüntülerde kaymalar meydana gelebilmektedir. Örne˘gin bir araba ikifarklı yerde gözükebilir. Ayrıca da˘glık alanlarda, açı farkından dolayı görüntülerdebüyük farklılıklar olu¸smaktadır. Örne˘gin bir görüntü da˘gın bir yamacına bakarkendi˘geri ba¸ska bir yamacına bakıyor olabilir. Bu da görüntülerin birbirinden tamamenfarklı görüntülermi¸s gibi algılanmasına sebep olabilir ve çok çerçeveli çözünürlükiçin kısıtlayıcı bir özelliktir. Aynı kısıtlamalar tek çerçeveli süper çözünürlük içingeçerli olmadı˘gı için tek çerçeveli süper çözünürlük uygulaması daha kolaydır. Ancakgörsel sonuçlar, çok çerçeveliye göre daha varsayıma dayalıdır. Bu tezde, derinö˘grenmeyle süper çözünürlü˘gün uydu görüntüleridne kullanılabilece˘gi gösterilmi¸stir.Gelecek çalı¸sması için, uydu görüntülerinin kullanıldı˘gı bir e˘gitim a¸samasıyla beraberolu¸sturulmu¸s konvolüsyonel sinir a˘gı modeli, bu tezdeki sonuçlardan daha iyi sonuçverebilece˘gi öngörülmektedir.

This thesis aims at enhancing the spatial resolution of single or multi frameremote sensing images. This process is referred to as super resolution (SR) imagereconstruction in the literature.Application of multi frame super resolution to real data presents challenges due tothe very high dimensions of the datasets, such as those obtained in RS satelliteimaging and due to the impacts of atmospheric, topographic, land cover charateristicsand sun-sensor-geometry during the data acquisition. Besides, multi-frame superresolution for remote sensing images is not common because of lack of data. In thisthesis, a novel application of tri-stereo RS satellite images based on regularizationmethod to the super resolution problem is proposed. Since the tri-stereo RS imagesof the same observation area are acquired from three different viewing angles alongthe flight path of the satellite, these RS images are properly suited to a SR application.For multi frame super resolution, regularization methods which are Total Variation andTikhonov are used to preserve edges.The second contribution of the thesis is deep learning based single frame superresolution. Two pre-trained convolutional neural network models, SRCNN and VDSR,are applied to remote sensing images after IHS transform. Since this implementation issingle frame super resolution, disadvantages of topography or moving objects doesn'teffect the results such multi frame super resolution does; therefore, method can beapplied to all kind of areas such as mountainous regions. Methods are implementedto Intenstiy channel only, then colour information is restored with an inverse IHStransformation.As data, SPOT and Pleiades satellites images which are acquired by ITU Center forSatellite Communications and Remote Sensing (CSCRS) are used. Pleiades 1A, 1BRS satellite images having 0.5 m product spatial resolution for panchromatic mode and2.0 m product spatial resolution for multispectral mode that include 4 spectral bands(Red, Green, Blue and IR); and SPOT 6 , SPOT 7 RS satellite images, which have1.5 m and 6.0 m product spatial resolution for panchromatic and multispectral modesrespectively. Structural Similarity Index (SSIM), Peak Signal Noise Ratio (PSNR),Spectral Angle Mapper (SAM) and ERGAS values are calculated for a quantitativeevaluation of the methods, which showed satisfactory results with synthetic lowresolution images. Finally, the method which gave better results, is tested within areal scenario, i.e. with original low resolution images and the obtained high resolutionimages demonstrated visible qualitative enhancements.