Computer based testing -evaluation of question classification for computer adaptive testing-

Abstract

Bu çalışmanın amacı kullancının bir soruya verdiği cevaba göre sınavdaki bir sonraki soruyu tespit edecek bilgisayar destekli bir sınav sisteminde kullanılmak üzere hazırlanan soruların zorluk derecesini en iyi şekilde belirlemektir Kullanıcının bir soruya verdiği cevaba göre bir sonraki soruyu seçen bilgisayar destekli sınavlara bilgisayar uyarlamalı sınav denir. Öncelikle hazırlanan soruların zorluklarını belirleyebilmek için bu soruları kullanıcıya bilgisayar üzerinden aktaracak bir uygulama geliştirilmiştir. Kullanıcıların geliştirilen uygulama üzerinden verdikleri cevaplar farklı istatistiksel yöntemlerle değerlendirilerek soruların zorlukları belirlenmiştir. Buna bağlı olarak soru zorluğunu en iyi tespit eden yöntem bulunmuştur. Soru zorlukları en iyi tespit eden yöntem bulunduktan sonra, hazırlanan sorular RRT yöntemi ile sınıflandırılmıştır. Bu sınıfandırma bu çalışmanın gelecekteki yolunu çizmiştir. İlki bilgisayar uyarlamalı sınav yazılımlarında soruları sınıflandırmak için en iyi yöntemin ne olduğudur. İkinci sonuç ise soru sınıflandırmalarında soru havuzunun büyüklüğünün önemidir.Bunlara ek olarak, bu tez daha önce yapılmış bilgisayar uyarlamalı test uygulamalarını, bilgisayar destekli ve bilgisayar uyarlamalı testler arasındaki farkı, bu çalışmanın bilgisayar uyarlamalı test yazılımı geliştirmek için nasıl kullanılacağını da özetler.

The objective of this thesis is to determine the item difficulties in a test that are going to be used on Computer Adaptive Testing (CAT). Computer Based Testing (CBT) software has been developed to collect user responses to sample items. According to these user responses, item difficulties have been found using different approaches. Consequently, best approach to find item difficulty has been determined by a simple classification tool. Since using this classification tool, the best method to find item difficulties is determined, items have been classified using RRT algorithm. This classification ended up with two different results that define the future work of this study. First one tries to reveal which algorithm is the best method for classifying the questions for CAT software; and the second one has determined whether the size of item pool is important for question classification.In addition, this thesis outlines the previous work about CAT software, differences between CAT and CBT, how the current work will be used to further to implement CAT software. Finally, the benefits and potential limitations of this research are also presented here.