Dokümanları çıkarımsal özetlemek için paragrafları öneme göre sıralama

Abstract

Özetleme, bir bakıma metinleri kısaltma işlemidir. Bu kısaltma işlemi metinlerdeki önemli bilgileri içerecek şekilde olmalıdır. Bu çalışmanın amacı da İngilizce dilinde yazılmış makale, haber vs. gibi doküman paragraflarının içerdiği bilgi önemine göre seçilerek özetleme yapılmasıdır.Çalışmanın ilk aşamasında doküman kümesini temsil edecek önemli kelimeler belirlenmiştir. Bu aşamada tüm dokümanlarda geçen kelimeler kök geçiş sıklıklarına göre büyükten küçüğe göre sıralanır ve belirli sayıda seçilen en sık kelimeler ile paragraf vektörü temsil edilir.Bir sonraki aşamada, istenilen özet oranına göre paragraflar kümelere ayrıştırılır. Kümeleme algoritması olarak K-Means kullanılmıştır. Kümeler oluşturulurken başlangıç noktalarının belirlenmesi amacıyla iki farklı yöntem kullanılmıştır. İlk yöntemde, geçiş sıklıkları en yüksek ilk 10 kelimeden birinin en fazla görüldüğü paragraflar küme başlangıçları olarak seçilir. İkinci yöntemde, kullanıcının belirlediği özet oranına göre seçilecek anahtar kelime sayısı belirlenir. Daha sonra bu anahtar kelimelerin en çok geçtiği paragraflar başlangıç noktaları olarak belirlenir. Özet oluşturmada çıkarım yöntemi olarak, ayrıştırılan her bir küme içinden kümenin merkez noktasına Jaccard uzaklığı bakımından en yakın olan paragraf seçimi uygulanmıştır. Çıkan sonuçlar kontrol edildiğinde ikinci yöntemin daha başarılı bir sonuç verdiği gözlemlenmiştir. İkinci yönteme göre başarı oranları %20 özet oranı için %40 , %40 özet oranı için %50 ve %60 özet oranı için %71 elde edilmiştir.

Summarization is means of process of the abbreviation of a text. This abbreviation should be such that it contains important information about the texts. The purpose of this study is selecting paragraphs according to the importance of the information contained in paragraphs of documents such as articles, news, etc. written in English. During the first phase of the study, important words that represents the document set were identified. At this stage, the words in all the documents are sorted according to the frequency of their stems in ascending order and paragraph vector are represented by a certain number of most frequently limited selected words.In the next step, the paragraphs are separated into clusters according to the desired summary ratio. K-Means was used as the clustering algorithm. Two different methods were used to determine the starting points when the clusters were constructed. In the first method, the paragraphs with the highest frequency of passage of one of the first 10 words are selected as the cluster starts. In the second method, the number of keywords to be selected is determined according to the summary ratio determined by the user. Then the paragraphs most often passed by these keywords are set as starting points. As an extraction method in the summarization, the paragraph selection which is closest to Jaccard distance to the central point of the cluster is applied for all clusters. When the results were checked, it was observed that the second method gave a more successful result. Success rates according to the second method were 40% for the 20% summary rate, 50% for the 40% summary rate and 71% for the summary rate.