Comparability of scores from cat and paper and pencil implementations of student selection examination to higher education

Abstract

Çalışmanın amacı yüksek öğrenime giriş sınavında bilgisayar ortamında bireyselleştirilmiş testin (CAT) öğrenci seçme sınavı (ÖSS) klasik kağıt ve kalem testlerine alternatif olabilirliğini araştırmaktır. Bu bağlamda öğrenci seçme sınavına ait fen alt testi kullanılarak hem kağıt ve kalem hem de CAT simülasyonlarından elde edilen puanlar kıyaslanmıştır. ÖSS sınavını CAT formatında yapılandırmak için sabit soru sayısı ve standart hata eşik değerleri ile farklı yetenek kestirim metotları (EAP ve MLE) gibi farklı test sonlandırma kuralları kullanılmıştır.Farklı yetenek kestirim metotları altında sabit soru sayısı değerleri 10, 15 ve 25; standart hata eşik değerleri 0.30, 0.20 ve 0.10 test sonlandırma kuralı olarak kullanılmıştır. Bu bağlamda ÖSS ve CAT simülasyon sonuçları arasında önemli bir korelasyon bulunmuştur. Ayrıca CAT ile soru sayısında önemli miktarda azalma ile benzer yetenek düzeyleri tespit edilmiştir. Bu çalışma sonucunda bireyselleştirilmiş testin daha az soruyla daha güvenilir bir sınav sağladığı tespit edilmiştir. Bu sebepten çalışmaya konu olan araştırma bireyselleştirilmiş testi kıyaslanabilir skorlarla ÖSS kâğıt kalem testine alternatif olarak önermektedir.Anahtar kelimeler: bilgisayarda bireyselleĢtirilmiĢ test, CAT, öğrenci seçme, fen baĢarısı

The purpose of this study was to investigate the possibility of computerized adaptive testing (CAT) format as an alternative to the paper and pencil (P&P) test of thestudent selection examination (SSE) in Turkey. The scores obtained from both P&P format of the SSE and CAT through post-hoc simulations were compared using science subtest items. Different test termination rules (fixed length and fixed standard error) and ability estimation methods (EAP and MLE) were used to operate the CAT version of the SSE P&P test. 10, 15 and 25 items were used as fixed length test and standard errors of 0.30, 0.20 and 0.10 were used as fixed standard error thresholds in terms of test termination rules. Results indicated significant correlations between scores from SSE and CAT. The comparisons between results obtained from CAT and P&P tests also revealed that there exists similar ability distributions and significant reduction in the number of items used through CAT. The findings from the research showed that CAT could calculate reliability using fewer items than P&P test. This study suggests that CAT can be an alternative to SSE with comparable scores to P&P format.Key words: CAT, computerized adaptive testing, science achievement, student selection