Çoklu spektral ve pankromatik uydu görüntülerinin füzyonu için negatif olmayan matris ayrıştırma (NOMA) tabanlı yeni bir yöntem

Abstract

Görüntü füzyonu, tek ve yüksek çözünürlüklü görüntü elde etmek için iki veya daha fazla görüntünün eksikliklerini gidererek bir araya getirilmesi işlemidir. Uzaktan algılama çalışmalarında çoklu spektral ve pankromatik görüntülerin bir araya getirilmesinde bu sürecin kullanılması, literatürde pankeskinleştirme olarak isimlendirilir.Uydu görüntülerinde, daha düşük uzamsal çözünürlüklü çoklu spektral görüntüler daha yüksek uzamsal çözünürlüklü pankromatik görüntülerle birleştirilir. Bu işlemin yapılmasının sebebi pankromatik ve çok bandlı görüntülerin farklı özelliklere sahip olmasıdır. Multispektral görüntü yüksek spektral çözünürlüğe sahip iken, nispeten düşük uzamsal çözünürlüğe sahiptir. Ancak pankromatik görüntünün tam tersine uzamsal çözünürlüğü çok iyi olsa da, spektral çözünürlüğü yeterince iyi değildir. Yüksek uzamsal çözünürlüğe sahip olmak, görüntünün daha net ve daha detaylı bir görünümüne sahip olduğu anlamına gelir, daha yüksek spektral çözünürlük algılanan dalga boyunun küçük olması, yani farklı renk bandlarına sahip olması anlamına gelir. Tek bandlı pankromatik görüntünün ayrıntıları ön planda iken, çok bandlı görüntüde, görüntünün renk özelliği ön plandadır.Uydu görüntülerinden istenilen çözünürlükte multispektral görüntüler alınamaması sebebiyle, görüntü füzyonu teknikleri giderek daha çok önem kazanmıştır. Önerilen yöntemlerin görüntülerde iyileştirme sağlarken, belli başlı avantaj ve dezavantajları da bulunmaktadır. Bazı yöntemler görüntüleri uzamsal ölçekte iyileştirirken, bazı yöntemler de spektral ölçekte ciddi iyileşme sağlamaktadır. İncelenecek bölgenin özelliklerine göre farklı görüntü füzyonu tekniklerinden yararlanılarak, detaylı analizlerin yapılması sağlanabilir.Görüntü füzyonu, multispektral görüntünün yüksek spektral kalitesini koruyarak daha yüksek uzamsal çözünürlüğe sahip tek bir MS görüntü elde etmenin bir yoludur. Multispektral ve pankromatik görüntülerin füzyonu için yaygın olarak kullanılan yöntemlerden bazıları IHS (Yoğunluk Ton Doygunluk) dönüşüm temelli yöntem ve Temel Bileşen Analizi (PCA) tabanlı yöntemleridir. Bu çalışmada ilk olarak renk dönüşümü temelli GIHS yöntemi incelenmiştir. Sonrasında wavelet dönüşümü tabanlı A trous Wavelet Transform, Additive Wavelet Luminance Proportional ve A Trous Wavelet Based Context Based Decision yöntemleri incelenmiştir. Son olarak da negatif olmayan matrisler üzerinden önerilen yöntem olan NOMA yöntemi üzerine çalışılmıştır ve önerilen yöntem ile diğer yöntemlerin karşılaştırılması yapılmıştır.Önerilen yöntemden kısaca bahsetmek gerekirse; ATWT-NOMA yöntemi eğitim, test ve füzyon aşaması olmak üzere üç aşamadan oluşmaktadır. Eğitim aşamasında pankromatik görüntüden ATWT yöntemi ile alçak ve yüksek frekans detayların öğrenilerek, bu detaylardan NOMA yöntemi yardımıyla sözlük öğrenmenin gerçekleştirilmesidir. Test aşamasında, elde edilen sözlük bilgisi kullanılarak, PAN görüntünün NOMA yöntemi ile temel matris ve katsayılar matris çarpanlarına ayrıştırılmasını sırasında sözlük bilgisinin bir sabit olarak verilmesini amaçlar ve böylelikle sadece katsayılar matrisinin güncellenmesi sağlanır. Füzyon aşamasında ise katsayılar matrisi ile sözlük matrisinin çarpımından elde edilen yüksek frekans bilgisi multispektral görüntüye eklenerek füzyon işlemini tamamlamaktır.Önerilen yöntem ATWT yöntemi ile elde edilen alçak ve yüksek frekans detayların, NOMA yöntemi ile iyileştirilerek multispektral görüntüye eklenmesi prensibi üzerinedir. Bahsi geçen ve önerilen yöntem ile elde edilen sonuçların ne kadar başarılı olduğunu anlamak için görsel ve sayısal olarak karşılaştırılması gerekir. Bu işlem de gerçek ve sentetik boyutta olmak üzere iki aşamadan oluşmaktadır. Sentetik boyutta yapılacak değerlendirme için kullanılacak ölçütler CC, Q4, ERGAS, RASE, SAM ve SERGAS' dır. Gerçek boyutta yapılacak değerlendirme için QNR' dır. Bu ölçütler kıyaslama yapılması sırasında spektral ve uzamsal açıdan nicel sonuçlar sağlayacaklardır.Elde edilen sonuçları değerlendirdiğimizde GIHS yöntemi uzamsal açından iyi sonuçlar sağlasa da, spektral açıdan elde edilen sonuçlar en kötü sonuçlardır. ATWT-CBD yöntemi spektral ölçüt değerleri açısından iyi sonuçlara sahip olsa da görüntülerde uzamsal açıdan veri kayıplarına sebep olmaktadır. Önerilen yöntem, görsel açıdan değerlendirildiğinde AWLP yöntemine yakın olmakla birlikte, sayısal değerler aççısından ATWT ve AWLP yöntemlerine üstün gelmiş, görüntülerdeki yapaylıkları azaltmıştır. Diğer yöntemlere göre değerlendirildiğinde hem spektral hem de uzamsal açıdan iyi bir denge noktasında yer almaktadır.Gerçekleştirilen füzyon yöntemlerini süreleri de uygulamanın kullanımı açısından önem arz etmektedir. GIHS, ATWT, AWLP yöntemlerinde füzyon işlemleri bir saniyenin altında tamamlanmaktadır. ATWT-CBD yönteminde bu süre yaklaşık kırk beş saniyedir. Yeni önerilen yöntem uygulanan füzyon yönteminin karmaşıklığı ve ATWT, NOMA yöntemlerinin füzyonu olması sebebiyle yaklaşık doksan saniye sürmektedir. Bu sürenin büyük bir kısmı test ve füzyon aşamasında kullanılmaktadır. Eğitim aşaması iki saniyeden kısa bir sürede tamamlanmaktadır.

Image fusion is one and two or more high resolution image combining process for obtaining the image by removing their shortcomings. The use of this process when multispectral and panchromatic images are combined in remote sensing studies is called pan sharpening in the literature. Remote Sensing, being the most used area in image fusion, uses devices that improve two different kinds of image. One of them involves the color information with low resolution. The other has high resolution without color information. Herein, image fusion is applied in order to develop an image having both high resolution and colour data. For that reason, image fusion can be also named as choosing the best noticeable quality of the input images. The sensors used for image fusion are mainly panchromatic and multispectral sensors. Because the result is a fusion version of multispectral image sharpened by panchromatic image.In satellite images, multiple spectral images with lower spatial resolution are combined with higher spatial resolution panchromatic images. The reason for this process is that panchromatic and multiband images have different properties. It has high spectral resolution in the multispectral image, but has a relatively low spatial resolution. However, contrary to the panchromatic view, the spatial resolution is very good, but the spectral resolution is not good enough. Having a high spatial resolution means we have a clearer and more detailed view of the scene, higher spectral resolution means that the perceived wavelength is smaller, it has different color bands. Single band panchromatic image details in the foreground, multi band image, the color feature of the image in the foreground.Image fusion techniques have become increasingly important because of the inability to acquire multispectral images at the desired resolution from satellite images. While the proposed methods improve the images, they also have certain advantages and disadvantages. While some methods improve images at spatial resolution, some methods provide significant improvement in spectral scale. Depending on the characteristics of the method to be examined, detailed analysis can be made by using different image fusion techniques.Image fusion is a way of achieving a single MS image with higher spatial resolution by preserving the high spectral quality of the multispectral image. Some of the commonly used methods for fusing multispectral and panchromatic images are the Intensity Hue Saturation (IHS) based method and the Principle Component Analysis (PCA) based methods. In this study, the GIHS method based on color conversion was first investigated. Wavelet transform based methods are the most common used multiresolution methods. Conventional wavelet transform has downsampling and upsampling processes, which cause artifacts and some missing information in the pansharpened image. To overcome this problem, several wavelet transform based pansharpening algorithms are proposed. One of them is the A Trous Wavelet Transform. In this transform, to obtain the subbands of the image, a cubic spline mask is applied to the image. The output is the approximation subband of the image. To obtain the detail subband, approximation image is basically subtracted from the original image. Pansharpening methods based on ATWT do not have upsampling and subsampling processes. So they do not have the negative effects of downsampling process and yet the computational load is less due to the use of additive transform. The pansharpened image can be obtained by replacing multispectral wavelet planes with the planes obtained from panchromatic image. This result contains too much panchromatic information, which will result in spectral problems in the pansharpened image. Another and more efficient way to obtain the fused image is to add the wavelet planes of panchromatic image directly to the multispectral image. This method has better results than the former one. But, this method also has overenhancement issues. To reduce the overenhancement problem and keeping the spectral quality better, first, the wavelet planes are proportioned by luminance (intensity) of the multispectral image, then, they are added to the MS image. Although this method is better than the former methods, spectral bias is high and it lacks performance in larger detailed areas (urban areas). Other methods, which decrease the spectral bias and have better results in areas with higher details, are called as CBD. CBD method measures a coefficient for every pixel within an NxN sized window. These coefficients are used for weighting the wavelet planes to be added to the multispectral image. In CBD method, small details are totally neglected, which yields in blurry results in those areas. In order to obtain both high definition and color rich images, the NOMA method, which is the recommended method over non-negative matrix in the ongoing process, has been studied and compared with the proposed method.The recommended method is briefly mentioned; this method consists of three stages: training, testing and fusion. Learning of low and high frequency details of the panchromatic image by ATWT method and learning of dictionary by means of NOMA method. In the test phase, using the obtained dictionary information, it is intended that the dictionary information is given as a constant during parsing of the basic matrix and coefficients into matrix multipliers by the NOMA method of the PAN image, so that only the coefficient matrix is updated. In the fusion phase, the multispectral image is to complete the fusion process by providing matrix coefficients information.The proposed method is based on the principle that the low and high frequency details obtained by the ATWT method are improved by NOMA method and added to the multispectral image. It is necessary to visually and numerically compare the results of the betting and the proposed method to see how successful they are. This process consists of two phases, one at the real and one at the synthetic level. Criteria to be used for evaluation at the synthetic size are CC, Q4, ERGAS, RASE, SAM and SERGAS. QNR for the assessment to be made at the real size. These metrics will provide quantitative results both spectrally and spatially during the comparison.When we evaluate the obtained results, although the GIHS method provides good spatial results, the spectral results are the worst. Although the ATWT-CBD method has the most spectral criterion values, it causes spatial data loss in images. The proposed method, when evaluated visually, is superior to ATWT and AWLP methods in terms of numerical values, close to AWLP method, and reduces artifacts in images. When evaluated according to other methods, it is at a good balance point in terms of both spectral and spatial.The duration of the fusion methods performed is also important for the use of the application. In the GIHS, ATWT, AWLP methods the fusion process is completed in less than one second. In the ATWT-CBD method, this time is approximately forty five seconds. The proposed method takes about ninety seconds because of the complexity of the applied fusion method and the fusion of ATWT and NOMA methods. Much of this time is spent in the test and fusion phase. the training phase is completed in a short period of two seconds.