Optimization of an educational search engine using learning to rank algorithms

Abstract

İnternet üzerinden arama yapmak, İnternet kullanıcılarının tercih ettiği en popüler aktivitelerden birisidir. Arama motorlarının oldukça fazla kullanılması sayesinde, kullanıcıların yapmış oldukları aramaların yer aldığı bilgilerin kullanılabilmesi oldukça kolaylaşmıştır. Araştırmacılar bu bilgileri kullanarak kullanıcıların sahip oldukları arama davranışları ile ilgili faydalı sonuçlar elde etmişlerdir. Çalışmamızda, ticari olarak kullanılan eğitim amaçlı arama motoruna ait sorgu bilgilerini detaylı bir şekilde analiz ettik. Analiz sonrası aldığımız sonuçları, İnternet kullanıcılarının sahip olduğu arama davranışlarıyla karşılaştırarak aralarındaki farkları belirledik. Bu farkları da göz önünde bulundurarak eğitim alanına daha iyi uyum sağlayacak, sıralama amaçlı öğrenme algoritmalarını kullanarak bir model ortaya çıkardık. Sahip olduğumuz sorgu kümesi öğrencilere ait olduğu için, modeli oluştururken eğitim alanına has özgün özellikler kullandık. Modelin performansını karşılaştırmak adına, sahip olduğumuz sorgu kütüklerindeki orjinal sıralamayı ve bu alanda sıklıkla kullanılan modern yöntemlerle oluşturulan modeli referans olarak aldık. Sonuçlarımıza göre her iki referans modeline kıyasla sırasıyla %14 ve %11'lik bir gelişme sağladık. Bunun yanında, yapılan sorgunun türlerine göre ayrılmak kaydı ile, her bir sorgu grubu için farklı öğrenme modelleri tanımladık. Elde ettiğimiz verilere göre, sorgunun ders bilgisinin ve sorguyu soran öğrencinin sınıf bilgisinin farklı model oluştururken oldukça fayda sağladığını öğrendik. Sorgu kütük kümesinde yer alan bazı sorgular (yalnızca bir defaya mahsus sorulan sorgular) için elimizde yeteri kadar bilgi olmadığından, modelin genel performansını artırmak adına bu sorgular için özgün bir algoritma geliştirdik. Yaptığımız deneylere göre, bu özel sorgular için geliştirdiğimiz algoritma, oluşturduğumuz genel modelin performansını da artırmaktadır.

Web search is one of the most popular internet activities among users. Due to high usage of search engines, there are huge data available about history of user search issues. Using query logs as a source of implicit feedback, researchers can learn useful patterns about general search behaviors. We employ a detailed query log analysis provided by a commercial educational vertical search engine. We compare the results of our query log analysis with the general web search characteristics. Due to difference in terms of search behavior between web users and students, we propose an educational ranking model using learning to rank algorithms to better reflect the search habits of the students in the educational domain to further enhance the search engine performance. We introduce novel features best suited to the educational domain. We show that our model including educational features outperforms two baseline models which are the original ranking of the commercial educational vertical search engine and the model constructed using the state of the art ranking functions, up to 14/% and 11/%, respectively. We also employ different learning to rank models for different clusters of queries and the results indicate that having models for each cluster of queries further enhances the performance of our proposed model. Specifically, the course of the query and the grade of the user issuing the query are good sources of feedback to have a better model in the educational domain. We propose a novel /textit{Propagation Algorithm} to be used for queries having lower frequencies where information derived from query logs is not enough to exploit. We report that our model constructed using the features generated by our proposed algorithm performs better for singleton queries compared to both the educational learning to rank model we introduce and models learned with common features introduced in the literature.