Web ortamındaki yazılı sınavların doğal dil işleme yöntemleri ile değerlendirilmesi

Abstract

Otomatik sınav puanlama sistemleri, öğrencilerin sınav cevaplarına bilgisayar yardımıyla otomatik bir şekilde puan atamasını sağlamaktadır. Otomatik sınav puanlama sistemleri, kişilerin eğitildiği dile uygun olmalıdır. Farklı dillerde geliştirilmiş birçok otomatik sınav puanlama sistemi vardır ve bunların çoğu İngilizce diline uygun geliştirilmiştir. Bu tez çalışmasında, sınav sorularını depolamak ve çevrimiçi kısa cevaplı sorularla hazırlanmış sınavları yapmak ve otomatik olarak puanlamak için, web tabanlı otomatik Türkçe sınav puanlama sistemi (TSPS) yazılımı geliştirilmiştir. TSPS yazılımında, anlamsal ilişkiler için Türkçe WordNet ve doğal dil işleme alt yapısı için Zemberek kullanılmıştır. TSPS yazılımı kosinüs benzerliği ve tümleşik gizli anlambilimsel analiz (TGAA) metotlarını içeren hibrid bir model kullanmaktadır. TSPS yazılımının doğruluğunu ölçmek için, Süleyman Demirel Üniversitesi Mühendislik Fakültesi Bilgisayar Mühendisliği Bölümü Uzaktan Eğitim Programında bir özel durum çalışması gerçekleştirilmiştir. Çalışmanın sonuçlarına göre, %92'lik başarı oranı ile TSPS yazılımının Türkçe otomatik sınav puanlaması için kullanılabilir olduğu tespit edilmiştir.

Automated essay scoring systems calculates a score automatically according to answers of students by the help of the computers. Automated essay scoring system must be appropriate to the language through which people are educated. There are several automated essay scoring systems in different languages and most of them have been developed for the English language. In this thesis, web-based automated Turkish Essay Scoring System (TSPS) software has been developed to store exam questions and to make online exams for scoring short-answer question essays automatically. In the TSPS software, a Turkish WordNet has been used for semantic relations and Zemberek has been used as a generic natural language processing framework. The TSPS software uses a hybrid model of Cosine Similarity and Integrated Latent Semantic Analysis (TGAA) methods. In order to measure of the TSPS software accuracy, a case study has been performed in Suleyman Demirel University Faculty of Engineering Department of Computer Engineering Distance Education Programme. The results showed that the TSPS software can be used for automated essay scoring in Turkish with a 92% success rate.