İngilizce dokümanlarda tema ve alt kavramların tespiti

Abstract

Metin sınıflandırma, belgelerin özelliklerine göre birbirinden ayırt edilmesi için yapılan çalışmadır. Bu sınıflandırmalar belgelerin konusunu, belgenin yazarını veya belgenin yazarının cinsiyetini belirleme gibi alanlarda yapılabilir. Belgenin konusu, metinin içerdiği kelimeler ile temsil edilebilir veya kelimelerin anlamsal özellikleri yardımıyla tespit edilebilir. Metinin içerdiği kelimeler ile doğrudan belgenin konusunu temsil etmek yerine, kelimelerin metin içinde kullanıldığı anlama göre çıkarım yapılarak, kelimelerin temsil ettiği konunun tespiti yapılabilir. Yapılan sınıflandırma çalışmasında kelimelerin temsil ettiği konular eğitim setleri kullanılarak tespit edilmiş, deneme metinleri içerisinde geçen kelimelerin ağırlıklarına göre ise sınıflandırma yapılmıştır. Dokümanlarda tema ve alt kavram tespiti konusunda bir model önerilmiş ve deneysel bulgular değerlendirilmiştir. Dokümanlarda tema ve alt kavramların tespiti için kullanılabilecek anlamlı sözcüklerin belirlenmesi amacıyla Helmholtz prensibi temelli Gestalt teorisi kullanılmıştır. Bu sözcüklerin girdi olduğu bir Yapay Sinir Ağı (YSA) modeli oluşturulmuş, eğitim dokümanları (140 adet) ile bu ağ eğitilmiştir. Eğitim ve sınama doküman veri seti spor ve eğitim temalarında olup, toplam 14 alt kavram seçilmiştir. YSA'nın çıktısı tema ve alt-kavram bilgilerini vermektedir. 70 adet sınama dokümanı ile farklı sayıda (5, 10, 20) anlamlı kelime seçilerek deneyler yapılmış, başarı oranının konularda yaklaşık olarak % 95, alt kavramlarda ise % 80 olduğu gözlemlenmiştir.

Text classification is a study to distinguish between documents according to their characteristics. Such classifications may be made in areas such as the issue of documents, the author of the document or the gender of the author of the document. The subject of the document can be represented by the words contained in the text, or it can be determined with the help of the semantic features of the words. Instead of representing the subject directly with the words contained in the text, the subject represented by the words can be determined by making inferences according to the meaning of the words used in the text. The subjects represented by the words in the classification study were determined using training sets and the classification was made according to the weights of the words in the test texts. In the documents, a model of topic and sub topic detection is proposed in the documents and experimental findings are evaluated. The Gestalt theory based on the Helmholtz principle was used in the documents to determine the meaningful words that could be used to determine concepts and sub topic. An Artificial Neural Network (ANN) model was established in which these words were entered, and this network was trained with number of 140 training documents. The training and testing document dataset is about the sports and training topics and 14 sub-topics have been selected. The output of ANN gives the topic and sub topic information. Experiments were executed with 70 test documents with different numbers of (5, 10, 20) words. It was observed that the success rate was approximately 95 % in the topic and 80 % in the sub topic.