Analysis of textural image features for content based retrieval

Abstract

ANALYSIS OF TEXTURAL IMAGE FEATURES FOR CONTENT BASED RETRIEVAL OZET Sayısal arkeoloji ve sanal gerçeklik uygulamaları ile arkeoloji verilerinin birleştirilmesi, son yıllarda bilimsel ilgi çeken konulardır55-56. Tez çalışmamız, çömlek parçalan, mermer röliyef veya mozaikler şeklindeki arkeolojik bulguların, şekil ve doku bilgileri kullanılarak bilgisayar desteği ile ilişkilendirilmesini hedefleyen projelere ön araştırma niteliğindedir. Kültürel mirasın sayısallaştırılarak kullanılması, yıllar süren61 restorasyon çalışmalarını kısaltacak, geri dönülebilir alternatifler üzerinde daha çok uzman fikrin paylaşılmasını ve yapay görme sistemleriyle de sonuçların gürbüzlüğünü sağlayacaktır. Ayrıca, sonlanan çalışmalardan elde edilen veriler sanal müze, sanal tur gibi çoklu medya uygulamaları ile elektronik ortamlarda kitlelere ulaştırılabilecek, ve objeler yıllar boyunca fiziksel risklerden uzak arşivlenebilecektir. Doku analizi günümüze kadar hata analizi amacıyla yapay görme ve imge işleme bilimlerinde sıkça araştırılmış ve yaygın olarak uygulanmıştır1-2-3,5-8-11-1415-16. Son yıllarda ise benzerlik analizi alanına kayarak içerik tabanlı sayısal imge arama yöntemlerinde kullanılmaya başlanmıştır'-410. Bu sistemlerin güncel problemleri verimli yapı ve hız özellikleri olduğundan imge metrikleri üzerinde henüz fazla yoğunlaşılmamıştır. Tez çalışmamız hata ve benzerlik analizlerindeki doku algoritmalarının sayısal imge arama platformunda toplu haldeki ilk karşılaştırma dokümanıdır. Benzerlik analizinden çıkan veriler ve tez çalışmasında elde edilen deneyimler 2 boyutlu bulmaca çözme, bir başka ismiyle devamlılık analizi yöntemlerini geliştirmek üzere ilk kez uygulancak olan arkeolojik verilerin doku metrikleri ile ilişkilendirilmesi çalışmalarında kullanılacaktır. Tezin ilk bölümünde problemlerimize model teşkil edecek insan görme sistemi incelenmiş ve biyolojik olarak hata, benzerlik ve devamlılık analizlerinin çözümlerinin tıp ve psikoloji bilimlerince nasıl açıklandığı araştırılmıştır. ikinci bölümde, sayısal içerik tabanlı 2 boyutlu durağan imge arama sistemleri, performans kriterleri ve yakınlık metrikleri incelenmiş, literatürdeki çalışmalar özetlenmiştir. Tez çalışması için, literatürde şimdiye kadar kullanılan en geniş doku örnek arşivi oluşturulmuştur. Doku analizi sonuçlarının görsel olarak izlenebileceği bir arayüz tasarlanmış, içerik tabanlı imge arama yapılabilecek bir platform geliştirilmiş, internet sayfaları kaynak kodlarından karakter seti resim bileşeni ayrıştırması yaparak resim dosyalarını bulup sabit diske indirecek içerik tabanlı arama motoru kod çalışmasının ilk yapısı uygulanmıştır; Ayrıca, doku analizi yöntemleri öncesi gerekli olan imge işleme ve doku metriklerinin gürbüz işlenmesi için örüntü analizi yöntemleri gerçekleştirilmiştir. Son bölümde ise geliştirilen en yaygın doku analizi ve bu yöntemlerin tüm metrikleri açıklanmış, yaratılan farklı boyutlardaki doku örnek arşivlerinde, yazılan kodların performans sonuçları özetlenmiştir. VII

ANALYSIS OF TEXTURAL IMAGE FEATURES FOR CONTENT BASED RETRIEVAL ABSTRACT Digital archaelogy and virtual reality with archaeological artefacts have been quite hot research topics in the last years55-56. This thesis is a preperation study to build the background knowledge required for the research projects, which aim to computerize the reconstruction of the archaelogical data like pots, marbles or mosaic pieces by shape and textural features. Digitalization of the cultural heritage may shorten the reconstruction time which takes tens of years currently61; it will improve the reconstruction robustness by incorporating with the literally available machine vision algorithms and experiences from remote experts working on a no-cost virtual object together. Digitalization can also ease the exhibition of the results for regular people, by multiuser media applications like internet based virtual museums or virtual tours. And finally, it will make possible to archive values with their original texture and shapes for long years far away from the physical risks that the artefacts currently face. On the literature1,2-3,5-8,11-14,15'16, texture analysis techniques have been throughly studied and implemented for the purpose of defect analysis purposes by image processing and machine vision scientists. In the last years, these algorithms have been started to be used for similarity analysis of content based image retrieval1,410. For retrieval systems, the concurrent problems seem to be building efficient and fast systems, therefore, robust image features haven't been focused enough yet. This document is the first performance review of the texture algorithms developed for retrieval and defect analysis together. The results and experiences gained during the thesis study will be used to support the studies aiming to solve the 2D puzzle problem using textural continuity methods on archaelogical artifects, Appendix A for more detail. The first chapter is devoted to learn how the medicine and psychology try to explain the solutions of similiarity and continuity analysis, which our biological model, the human vision, accomplishes daily. In the second chapter, content based image retrieval systems, their performance criterias, similiarity distance metrics and the systems available have been summarized. For the thesis work, a rich texture database has been built, including over 1000 images in total. For the ease of the users, a GUI and a platform that is used for content based retrieval has been designed; The first version of a content based search engine has been coded which takes the source of the internet pages, parses the metatags of images and downloads the files in a loop controlled by our texture algorithms. The preprocessing algorithms and the pattern analysis algorithms required for the robustness of the textural feature processing have been implemented. In the last section, the most important textural feature extraction methods have been studied in detail with the performance results of the codes written in Matlab and run on different databases developed. VI