Expert finding in domains with unclear topics

Abstract

Uzman bulma, ihtiyaç duyulan uzmanları bulmak için kullanılan bir bilgi elde etme (Information Retrieval - IR) yöntemidir. Birçok ticaret, eğitim veya kamu kuruluşu için ihtiyaç duyulan uzmanın bulunması dikkate değer bir problemdir. Bir konferansa gönderilmiş olan makalenin değerlendirilmesi için hakem aranırken ya da bir yazılım projesi için danışman aranırken uygun uzmanı bulmak son derece önemlidir. Seçilmiş olan uzmana erişilememesi ya da uzmanın müsait olmaması durumunda benzerlerinin bulunması da önemlidir. Geleneksel uzman bulma yöntemleri; destekleyici belge kümesi, uzman aday listesi ve ön tanımlı konular olmak üzere üç bileşen temel alınarak modellenmiştir. Gerçekte çoğu zaman ön tanımlı konular bulunmamaktadır. Bu çalışmada, Latent Dirichlet Allocation (LDA) kullanılarak alanlar ve uzmanlar arasında anlamsal bir katman oluşturan bir uzman bulma sistemi önerilmektedir. Alanları ve uzmanları eşleştirmek için geleneksel bir uzman bulma yöntemi (oylama yöntemi), temel yöntem olarak kullanılmaktadır. Benzer uzmanlara ihtiyaç duyulduğunda, sistem seçilmiş uzmanların niteliklerini eşleştirerek uzmanlar önerir. Önerilen yöntem, kavram ispatı için yarı sentetik bir veri kümesine uygulanmıştır ve temel yönteme göre daha iyi performans göstermiştir. Önerilen yöntem aynı zamanda örnek olay olarak Türkiye Bilimsel ve Teknolojik Araştırma Kurumu (TÜBİTAK) Teknoloji ve Yenilik Destek Programları Başkanlığı (TEYDEB) projelerine uygulanmıştır. Modelimiz temel yöntem ile karşılaştırıldığında deney sonuçları modelimizin memnun edici olduğunu göstermiştir. Deneylerimizde üç değerlendiricinin tercihlerini temel alan ve Kappa istatistiği kullanılarak oluşturulmuş yeni bir asıl veri kümesi kullanılmıştır.

Expert finding is an Information Retrieval (IR) task that is used to find the needed experts. To find the needed experts is a noticeable problem in many commercial, educational or governmental organizations. It is highly crucial to find the appropriate experts, when seeking referees for a paper submitted to a conference or when looking for a consultant for a software project. It is also important to find the similar experts in case of the absence or the inability of the selected expert. Traditional expert finding methods are modeled based on three components which are a supporting document collection, a list of candidate experts and a set of pre-defined topics. In reality, most of the time pre-defined topics are not available. In this study, we propose an expert finding system which generates a semantic layer between domains and experts using Latent Dirichlet Allocation (LDA). A traditional expert finding method (voting approach) is used in order to match the domains and the experts as the baseline method. In case similar experts are needed, the system recommends experts matching the qualities of the selected experts. The proposed model is applied to a semi-synthetic data set to prove the concept and it performs better than the baseline method. The proposed model is also applied to the projects of the Technology and Innovation Funding Programs Directorate (TEYDEB) of The Scientific and Technological Research Council of Turkey (TÜBİTAK) as a case study. The experimental results show that our model is satisfiable compared to the baseline method. In our experiments, we use a new ground truth set which is generated based on the choices of three raters by using the Kappa statistics.