Kesik ULV ayrışımı ile gizli anlamsal dizinleme

Abstract

Günümüzde bilgisayar ve ağ teknolojilerinin hızlı gelişimiyle birlikte internet ortamında aşırı bir doküman yığını oluşmuştur. İstenilen bilgiye erişim zorluğu da bu doküman miktarıyla doğru orantılı olacak şekilde artmıştır. Hali hazırda kullanılan birçok bilgi erişim sistemi kullanıcıyı doğru dokümana ulaştırma konusunda garanti verememektedir. Kullanıcının yanlış dokümana yönlendirilmesinin en büyük sebebi bu sistemlerin kullanıcının girdiği sorgu ile sonuç olarak döndürülen doküman arasında sözcüksel eşleştirme yapmasıdır. Bu sorunu çözmek için Gizli Anlamsal Dizinleme (LSI) metodu kullanılır.LSI, sözcüksel eşleştirme problemini çözmek için terim ve dokümanların gizli anlamsal yapısını kullanan matematiksel bir metottur. Terimler ve dokümanlar arasındaki ilişkiyi Tekil Değer Ayrışımı (SVD) olarak adlandırılan matris ayrışımını kullanarak ortaya çıkarır. Ancak, SVD'nin maliyeti gizli anlamsal analizde kullanılabilecek alternatif metotların yolunu açmıştır. Bu çalışmada, örnek bir doküman yığını üzerinden terimler ve dokümanlar arasındaki gizli anlamsal yapı Kesik ULV ayrışımı ile keşfedilmiş ve performansı SVD ile karşılaştırılmıştır. Ayrıca daha önce oluşturulan gizli anlamsal yapı folding-in ve kesik ULV ayrışımını tekrar hesaplama metotlarıyla güncellenmiş ve yeni elde edilen gizli anlamsal yapılar karşılaştırılmıştır.

Nowadays, an excessive collection of documents is occured by rapid development of the internet and computer network technology. The difficulty of accessing the desired information is increasing proportional to the amount of the collection of documents. Most of the existing information retrieval systems can't guarantee to the users for accessing the right documents. The biggest reason for this is that these systems use lexical matching method for documents and query. Latent Semantic Indexing (LSI) is used for solving this problem.The LSI is a mathematical method which tries to overcome the problem of lexical matching by using latent semantic structure of words and documents. The LSI discovers the relationships between terms and documents using a matrix decomposition such as the Singular Value Decomposition (SVD). However the computational cost of the SVD has paved the way of alternative methods for LSI. In this study, the Truncated ULV Decomposition based LSI is used for discovering the relationships between terms and documents of a sample collection of documents and compared with the SVD based LSI. Also, the existing latent semantic structure is updated by using folding-in and recomputing the Truncated ULV Decomposition methods and new latent semantic structures are compared with each other.