Sparsity based pansharpening and a new pansharpening method using a guiding image

Abstract

Bu tez çalışmasında multispektral (MS) ve hiperspektral (HS) uzaktan algılama uydu görüntülerinin uzamsal çözünürlük kalitesinin artırılması amaçlamaktadır. Bu problem ve ilgili çözüm yöntemleri literatürde genel olarak `pankeskinleştirme` (pansharpening) başlığı altında incelenmektedir.Uydu teknikleri ve uygulamaları hızla geliştikçe, artan miktarda uydu uzaktan algılama görüntüleri genel kullanıma sunulmaktadır. Farklı platformlar ve sensörler uydu görüntülerinin çözünürlük kalitesini belirler. Uzamsal detaylara sahip yüksek spektral çözünürlüklü görüntüler, tarım, orman koruma ve izleme, mineral algılama, deniz ve çevre araştırmalarında önemli ve geniş uygulamalara sahiptir. Bununla birlikte, tek bir uydu uzaktan algılama sensörü, bazı teknik kısıtlamalar nedeniyle hem gereken yüksek uzamsal çözünürlüğe hem de yüksek gereken spektral çözünürlüğe sahip görüntüleri elde edemez: 1) Sensöre girecek radyasyon enerjisinin sınırlaması vardır. 2) Yüksek uzamsal kaliteli MS / HS görüntünün veri hacmi çok büyük ölçüdedir. Bu platformda sınırlı veri depolama kapasitesi ve platformdan yer alıcısına iletim bant genişliğinin yetersizliği sorunlarına neden olabilir. Uzaktan algılama ile elde edilen uydu görüntülerinin çeşitli uygulama taleplerini karşılamak için hem yüksek uzamsal çözünürlüğe, hem de yüksek spektral çözünürlüğe sahip olması istenmektedir. Pankeskinleştirme, yüksek uzamsal detaylara sahip ve yüksek spektral çözünürlükte görüntüler üretmek için, hem pankromatik (PAN) görüntüsünün hem de çoklu- spektral veya hiperspektral görüntünün üstün özelliklerinden yararlanarak bu sorunu çözmek için geliştirilmiş etkili bir görüntü füzyon tekniğidir. Bu kaynaştırma işleminde, pankromatik görüntünün uzamsal içeriği ve MS / HS görüntünün spektral içeriği mümkün olduğu kadar korunmalıdır. Böylece kestirilen son görüntünün mümkün olduğu kadar orijinal (aranan) görüntünün hem uzamsal hem de spektral detaylarını içermesi sağlanabilir. Pankeskinleştirme bunun dışında görüntü yorumlama, nesne tanıma, sınıflandırma ve değişiklik tespiti gibi önemli diğer bazı uydu görüntü temelli uygulamalar için çok önemli bir ön işleme aşamasını oluşturmaktadır.Bu tezin ilk kısmında, farklı pankeskinleştirme yöntemleri genel bir şekilde incelenmekte ve farklı yaklaşımlar açıklanmaktadır. Pankeskinleştirme yöntemleri Bileşen Değiştirme (Component Sunstitution-CS), Çoklu Çözünürlük Analizi (Multi Resolution Analysis- MRA) ve model tabanlı algoritmalar altsınıflarına ayrılmaktadır. CS kategorisi, PAN görüntüsünün yüksek çözünürlüklü uzamsal içeriğinin, MS / HS görüntüsünün düşük çözünürlüklü uzamsal içeriğinin yerini almasıyla gerçeklenir. Çoklu Çözünürlüklü Analiz kategorisi genel olarak, PAN görüntü üzerinden pankeskinleştirilmiş MS / HS görüntülerini elde etmek ve uzamsal yapı detaylarını vermek için uzamsal filtreler kullanır. Model temelli pankeskinleştirme yöntemleri kategorisinde ise genel olarak gözlemlenen MS / HS ve PAN görüntülerine ilişkin matematiksel bir model oluşturulur.Tez kapsamında, literatürde önerilmiş çok sayıda yaklaşım arasından önemli görülen bazı pankeskinleştirme yöntemlerini detaylı şekilde analiz edip karşılaştırdık. CS kategorisinde yer alan pankeskinleştirme yöntemleri MS görüntüler için görece daha iyi uzamsal kalite sağlar. MRA kategorisinde yer alan pankeskinleştirme yöntemleri ise MS görüntüleri için daha iyi spektral kalite üretir. HS pankeskinleştirme açısından, MRA kategorisi genellikle CS kategorisinden daha iyi performans gösterir. Model tabanlı yöntemler hem MS hem de HS pankeskinleştirme için iyi performans gösterir. Bununla birlikte, model tabanlı yöntemler CS ve MRA kategori yöntemleriyle karşılaştırıldığında çok daha fazla işlem zamanı gerektirmektedir. Bu tez kapsamında geçmişte önerilmiş model tabanlı ve özyinelemeli yöntemlere dayanarak, yeni bir pankeskinleştirme yaklaşımı önerilmektedir. Literatürde daha önce sunulmuş olan Block Matching 3D (BM3D) etkili bir görüntü gürültü giderme algoritmasıdır. Yeni geliştirilen pankeskinleştirme yöntemi, BM3D içinde bir kılavuz görüntü kullanımını ortaya koymaktadır. Böylece Kılavuz Görüntü BM3D (Guiding Image BM3D-GIBM3D) olarak isimlendirdiğimiz, model tabanlı ve özyinelemeli yeni bir pankeskinleştirme yaklaşımı ortaya konulmaktadır. BM3D, yinelemeli özyinelemeli pankeskinleştirme yöntemleri için literatürde kullanılmış etkili ve güçlü bir görüntü gürültü giderme algoritmasıdır. BM3D algoritmasının Wiener filtreleme basamağında temel bir görüntü kestirimine ihtiyaç duyulmaktadır. Bu tezde, BM3D algoritmasının pankeskinleştirme uygulamasında kullanımının performansını arttırmak için gürültü giderilmiş görüntü kestirimleri yerine, pankeskinleştirme sonucu elde edilmiş harici kılavuz görüntülerinin kullanımı önerilmektedir. Burada önerilen kılavuz görüntü kullanımı, Wiener filtreleme adımının blok eşleştirme aşamasında gruplama performansını artırmakta ve buna ek olarak 3D spektral katsayıların Wiener filtrelenmesinde başarımı iyileştirmektedir. Kılavuz görüntünün kullanımı, Wiener filtreleme adımında daha iyi gruplama ve daha iyi filtreleme için referans olarak işlev görmektedir.Yukarıda özetlendiği gibi, önerilen yeni Kılavuz Görüntü BM3D (GIBM3D) algoritması Wiener filtreleme adımının temel kestirim girişini harici bir kılavuz görüntü ile değiştirmektedir. Tez kapsamında GIBM3D algoritması için üç ayrı alt model oluşturulmaktadır. Tezde önerilen bu üç farklı GIBM3D algoritması yapısı, model tabanlı ve özyinelemeli bir pankeskinleştirme çerçevesi içinde kullanılarak pankeskinleştirmeye uygulanmıştır. Bu kapsamda GIBM3D, pankeskinleştirme için `Alternating Direction Method of Multipliers` (ADMM) tabanlı özyinelemeli bir algoritmanın yineleme adımlarının bir alt bileşeni olarak gerçeklenmektedir. GIBM3D, her bir ADMM yinelemesinde iyileştirilmiş bir görüntü kestirimi oluşturmak için gürültü giderici bir düzenleme (regularization) adımı olarak kullanılmaktadır. Kullanılan kılavuz görüntünün kalitesine göre, ADMM-GIBM3D algoritması tarafından üretilen pankeskinleştirme sonuçları değişiklik göstermektedir.Tez kapsamında farklı pankeskinleştirme yöntemlerinin karşılaştırılması için görsel değerlendirme ve referans görüntüleri karşılaştırma içeren nicemsel değerlendirmeler yapılmıştır. Referans görüntü ile nicel değerlendirmede, gözlenen görüntü işaretleri referans olarak kullanılan mevcut bir MS / HS görüntüsünden sentetik olarak üretilmektedir. Gözlemi oluşturan görüntüler pankeskinleştirilmekte, ve üretilen sonuç görüntüleri referans ile karşılaştırılarak değerlendirilme yapılmaktadır.Önerilen ADMM-GIBM3D yaklaşımının ve literatürde sunulmuş farklı tiplerde rakip pankeskinleştirme yaklaşımlarının performanslarını karşılaştırmak için üç adet multispektral ve iki hiperspektral görüntü veri seti üzerinde kapsamlı benzetimler gerçeklenmiştir.Bu tezin benzetim sonuçları, önerilen ADMM-GIBM3D pankeskinleştirme yönteminin mevcut model tabanlı pankeskinleştirme yöntemleriyle rekabetçi bir performansa sahip olduğunu göstermiştir. Bunun dışında sonuçlar, önerilen ADMM-GIBM3D yönteminin her üç alt modelinin neredeyse eşdeğer performansa sahip olduğunu göstermektedir.

This thesis aims at enhancing spatial resolution quality of multispectral and hyperspectral remote sensing satellite images by utilizing a registered panchromatic image of the same scene. This technique is called as `Pansharpening` in the literature.High spectral resolution images with high spatial details have wide applications in precision agriculture, forest protection and monitoring, mineral detection, marine and environmental research. However, a single satellite remote sensing sensor cannot acquire images which have both high required spatial resolution and high required spectral resolution as a result of some technical constraints. Pansharpening is an effective image fusion technique to solve this problem by taking advantage of the prevailing properties of both pan image and multispectral or hyperspectral image to generate high spectral resolution images with high spatial details for the purpose of satisfying various demands of remote sensing satellite images.This thesis firstly gives an overview of different pansharpening methods and briefly classifies the pansharpening methods into the Component Substitution category, the Multi-Resolution Analysis category and the model based category. Some important methods are analyzed and compared in inter- and intra-categories.The second aim of this thesis is to propose a novel pansharpening approach using the newly developed Guiding Image BM3D image denoising algorithm. BM3D is an effective denoising algorithm. In the proposed algorithm, an external guiding image is added as the basic estimate to the Wiener filtering step of the BM3D algorithm and this forms the three sub-models of the GIBM3D algorithm. In the thesis, the proposed GIBM3D algorithm is applied in a model based pansharpening method. The GIBM3D is implemented in every iteration of the Alternating Direction Method of Multipliers (ADMM) process in this pansharpening model.For comparisons of different pansharpening methods, visual evaluation, quantitative evaluation with reference images and without reference images are introduced. Then three multispectral and two hyperspectral image datasets are tested to validate the performance of proposed ADMM-GIBM3D approach and to compare the performance of various pansharpening methods.Experimental results in this thesis have demonstrated that the proposed ADMM-GIBM3D pansharpening method has competitive performance with the existing model based pansharpening methods. The results also show that the three sub-models of the proposed ADMM-GIBM3D method result in almost equivalent performance.