Paralel hesaplama kullanarak yerel fourıer filtreleri ile optik uydu görüntülerinin birleştirilmesi

Abstract

Yeryüzü kaynaklarının araştırılması ve incelenmesi araştırmacılar için her zaman ilgi çekici bir konu olmuştur. Bu araştırmaların daha geniş ölçekli ve verimli yapılabilmesi için ilk yer gözlem uydusu olan LANDSAT-1 yörüngeye fırlatılmış ve uydu görüntüleri ile çalışmalar başlamıştır.LANDSAT-1 'in yörüngeye fırlatılmasından bu yana birçok optik uydu daha yörüngeye fırlatılmıştır. Yörüngeye gönderilen her bir uyduda daha gelişmiş optik algılayıcılara yer verilmiştir. Ancak teknolojik kısıtlamalar ve gelişmiş algılayıcı üretimindeki yüksek maliyetler nedeniyle optik uydularda hem farklı frekans aralıklarını algılayarak yüksek spektral bilgi sağlayan hem de yüksek mekânsal çözünürlük sunan algılayıcı kullanımı tercih edilmemektedir. Bunun yerine sadece yüksek mekânsal çözünürlük sunan algılayıcılar ile sadece yüksek spektral bilgi sunan algılayıcıların beraber kullanımı benimsenmiştir.Optik bir uydudan elde edilen tek bantlı fakat yüksek mekânsal çözünürlüğe sahip olan pankromatik görüntü ile çok bantlı fakat düşük mekânsal çözünürlüğe sahip görüntü birleştirilerek hem yüksek mekânsal çözünürlüğe sahip hem de yüksek spektral bilgiye sahip görüntü elde etmek görüntü birleştirme yöntemleri ile mümkündür. Ancak bu görüntü birleştirme yöntemlerinde hem hesaplama maliyeti hem de birleştirme kalitesi açısından sorunlar vardır.Bu çalışma kapsamında paralel programlama ve yerel Fourier filtreleri kullanılarak en iyi ve en hızlı görüntü birleştirme algoritmalarının oluşturulması, oluşturulan bu algoritmaların hesaplama maliyetleri ve birleştirme kalitesi açısından karşılaştırılarak detaylı analizlerin ortaya koyulması amaçlanmıştır. Bu amaç doğrultuda modülasyon tabanlı yöntemlerden Brovey dönüşümü, bileşen değişimi yöntemlerinden IHS dönüşümü ve CIE L*a*b* dönüşümü, çoklu çözünürlük analizi yöntemlerinden HFM, frekans uzayı analizi yöntemlerinden DFT ve karma yöntem olarak DFT + IHS dönüşümü ile DFT + CIE L*a*b* dönüşümleri kullanılarak görüntü birleştirme yapılmıştır. Ayrıca çeşitli Fourier uzayı süzgeçleri ve histogram eşleme yöntemleri kullanılarak birleştirme başarımının arttırılması amaçlanmıştır.Bu çalışmada görüntü birleştirme için SPOT 6 uydusu tarafından algılanan tek bant pankromatik ve üç bant multispektral görüntüler kullanılmıştır. Kocaeli Gebze bölgesine ait şehir görüntüsü, İstanbul kuzey ormanlarına ait orman görüntüsü ve Urfa kırsal bölgesine ait tarım arazisi görüntüsü olarak sınıflandırılmış üç veri seti üzerinde çalışmalar gerçekleştirilmiştir.Elde edilen birleştirilmiş görüntüler topluluk tarafından kabul edilmiş yaygın kullanıma sahip olan kalite değerlendirme yöntemleri ile test edilmiştir.Bu çalışma ile farklı bölgelere ait farklı fiziksel özelliklere sahip uydu görüntülerinin yerel Fourier filtreleri kullanılarak en başarılı görüntü birleştirme yöntemlerinin bant tabanlı paralel programlama ile daha hızlı çalışmasını sağlayacak algoritmanın oluşturulması ve oluşturulan bu algoritmaların hesaplama maliyetleri ve birleştirme kalitesi açısından karşılaştırılarak detaylı analizlerin ortaya konması hedeflenmiştir.

Research on earth surface resources is always one of the most popular topics in society. First modern remote sensing applications started during Cold War between U.S.A and S.S.C.B for determining soviet military activity in Cuba in 1960s. After that, researches in remote sensing was spreaded and technics ares developed. In purpose of having more accurate and useful researches on remote sensing, LANDSAT-1 was launched into orbit in 1972. After launching LANDSAT-1 into orbit, researchers started to work with satellite images.Many optical satellites also were launched into orbit after LANDSAT-1 was launched. Each optical satellite had more technologically developed sensors than launched before that. However, having a single sensor that provides both high spectral information gathered in several frequency ranges and high spatial resolution is hard in meaning of financial and technology. Because of that reason, different approach is accepted in optical satellites. Optical satellites have two type of sensor. One of these sensors provides high spectral information and other provides high spatial resolution.The sensor, which provides high spatial resolution, generates panchromatic image. Panchromatic image consists of only one band. The sensor, which provides high spectral information, generates multispectral image. Multispectral image consists many bands but resolution of multispectral image is lower than panchromatic image. Fusion of panchromatic and multispectral image gives us a fused image named as pansharpened image that has both high spectral information and high spatial resolution. Although pansharpened image has high spectral information and high resolution, there are some problems must be handled like fused image quality and compute time.In purpose of achieving to have high quality fused image, several image fusion methods used in this study. These methods can be summoned to five main categories. Used fusion methods are Brovey transformation that is one of the modulation based methods, IHS transformation and CIE L*a*b* transformation that are in component substitution methods, HFM that is one of the multi resolution analysis methods, DFT methods that is one of the frequency domain analysis methods, DFT + IHS transformation and DFT + CIE L*a*b* transformation from hybrid methods.Brovey method is a modulation based image fusion algorithm. This method is a very simple methods. The fact that Brovey method 's calculations do not have complex equations, it does not require much computational resources. Pansharpanned images that are made using Brovey method have low image quality and low parallel computing performance.IHS transformation method is one of the component substitution based methods. IHS is a color space. Multispectral images in RGB color space can be transformed into IHS color space using IHS transformation matrices. In this study, this transformation matrices are reorganized and simplified. So that computational performance increased. However, because of this method has limited band independent calculations, parallel computing performance has low scores in this study.CIE L*a*b* transformation method is another component substitution based method used in this study. CIE L*a*b* is also a color space similar to IHS. An image in RGB color space cannot be transformed directly into CIE L*a*b* color space unlike an image in IHS color space. Firstly, The image in RGB color space has to be transformed into XYZ color space, then it can be transformed into CIE L*a*b* color space. The CIE L*a*b* method has many band independent calculations. So that applying parallel computing in this methods results in a high computing performance score.The HFM fusion method is a simple algorithm that is applied in Fourier domain. Pansharpenned images that are made using HFM methods has low image quality scores despite the fact that the method has high parallel computing score.DFT method is a frequency analysis method. It basic principal is filtering frequency components of panchromatic and multispectral images and combining them. Panchromatic image has high spatial information. This spatial information is concentrated in higher frequency components in Fourier domain. Multispectral image has high spectral information. This spectral information is concentrated in lower frequency components in Fourier domain. Spatial information of panchromatic image can be obtained using local high pass filters and spectral information of multispectral image can be obtained using local low pass filters. Summing of these frequency components gives pansharpenned image. DFT method has good scores on both image quality and parallel computing performance.DFT fusion method can be combined with conventional methods like IHS and CIE L*a*b*. Combination of DFT method and conventional methods is named as hybrid methods. In this study, DFT + IHS and DFT + CIE L*a*b* methods are used. Both fusion methods has good image quality and good parallel computing performance. But DFT + IHS hybrid fusion method has slightly better image quality than others.In this study, band based multi-threaded parallel programing approach applied to achieve to decrease computation time. Tasks of each multispectral bands shared by individual threads. Thanks to multi-threaded parallel programming, computation time significantly decreased. Fusion methods that have more independent band related tasks have more successful results than others did.In addition, some frequency domain filters like ideal filter, Gaussian filter, Butterworth filter, Hanning window and Hamming window are used to filter information from panchromatic and multispectral images. To increase fusion quality, histogram-matching operation applied in fusion methods.SPOT 6 panchromatic and multispectral imagery dataset is used in this study. Dataset consists of three image pairs that have different geographic characteristics. First image pair is city image from city Gebze of Kocaeli in Turkey. Second image pair is forest image which covers little piece of Istanbul North Forest in Turkey. Third image pair is an agricultural filed from Urfa city in Turkey.Fused images are analyzed using quality testing methods like SAM, RMSE, ERGAS and RASE which are commonly used by society.In this study, it is aimed that to speed up best fusion algorithms that use local Fourier filters and band based parallel programming for optical satellite images which has different geographic characteristics and also aimed to show detailed analysis of compute and image quality.