A user based comparative study of automatic text summarization

Abstract

Her geçen zamanda, metinsel verilerdeki büyüklük devasa ölçülerde olmaktadır. Orta düzeyde bir kullanıcı, normalde işleyebileceğinden daha fazla bilgi ile karşılaşmaktadır. Uzmanlık seviyesinden bağımsız olarak, her kullanıcı kendi ilgi alanına göre, bir şeyler anlatmakta olup, ilaveten teknolojinin gelişmesi ve sosyal medyanın kullanımındaki artışla birlikte, hem sayı hem de boyutta fikir ve haber makalesi sayısı artmıştır. Bu verilerden okurken, değerli malzemelere ulaşma olasılığı daha da azalmakta, dolayısıyla metin özetlemesi gibi teknolojik yeniliklere duyulan ihtiyaç da artmaktadır. Otomatik Metin Özetlemesi, mevcut bilgi miktarını azaltmak için doğal dil işleme ve yapay zekâ gibi alanlarda kullanır. Bu anlamda, otomatik metin özetleme, hangi makalenin daha fazla okunacağına ve hangisinin önemsiz olduğuna karar vermek için bir araç olarak kullanılabilen önemli bir araçtır. Bu tez, dört farklı algoritmanın karşılaştırmalı bir çalışmasını içermektedir; Gensim TextRank, Sumy LSA, bir frekans olay tabanlı özetleme ve bir duygu analizi tabanlı özetleyici. Çalışmanın değerlendirmesinde, özetlemenin, ortalama bir kullanıcının bir kullanıcı geribildirim anketi yoluyla özetleyicileri puanlama yöntemiyle insan bilgisayar etkileşim çalışması olarak yapılmış ve değerlendirme metrikleri Rouge puanlarıyla karşılaştırılmıştır. Tezde tanımlanan çalışma, otomatik metin özetlemesinin bir arka plan çalışmasını, dört algoritmanın karşılaştırmalı bir incelemesini ve özetleyicilerin değerlendirilmesini içermektedir.

Every second that goes by, textual data is generated in magnitudes. The average user is met with more information than they could ordinarily process. With the advent of technology and the rise in the use of social media, opinions and news article extracts have grown in both number and size, every user regardless of expertise level has something to tell the world. In navigating this data, the possibility of getting worthy material is getting slimmer hence the need for technological innovations like text summarization. Automatic Text summarization uses knowledge in the fields like natural language processing and artificial intelligence to downsize on the amount of existing information. It is a great asset that can be used as a tool to decide which article to read further and which one to discard. In this thesis, the work done involves a comparative study of four different algorithm; Gensim TextRank-Based, Sumy LSA-based (borrowed from the original implementation), a frequency event based summarization (simple summarizer) and a sentiment analysis based summarizer. In the evaluation of the study, due to the fact that summarization is centred towards making the work of the average user simpler, a popular Human Computer interaction study was borrowed to score the summarizers through a usability study and a user feedback survey. The evaluation metrics was compared to Rouge scores. The work described in the thesis include a background study of automatic text summarization, a comparative study of the four algorithms and evaluation of the summarizers.