Gerçek ve üretilmiş veri setlerinde çok boyutlu bireyselleştirilmiş bilgisayarlı test uygulama sonuçlarının incelenmesi

Abstract

Bu çalışmada; Anadolu Üniversite YDYO'da öğrenim gören hazırlık sınıfı öğrencilerinin eğitimlerini bitirmelerinin ardından, lisans eğitimleri öncesi vermeleri gereken Yeterlilik Tespit Sınavının (YTS) verileri kullanılarak gramer ve kelime bilgisi becerileriyle birlikte bir de genel yetenek ölçen çok boyutlu bir bireyselleştirilmiş bilgisayarlı test (BBT) geliştirililmesi amaçlanmıştır. Buna yönelik olarak öncelikle, Anadolu Üniversitesi YDYO'da geçmiş yıllardaki YTS'lerde uygulanan ve her biri 50'şer sorudan oluşan dört farklı madde seti ile bu maddelere ait veriler kullanılarak bir madde havuzu oluşturulmuştur. MTK'ya dayalı olarak yapılan analizlerde her bir veri seti için sırasıyla tek boyutlu model, iki boyutlu model ve üç boyutlu bifaktör model uygulanmış ve tüm madde setleri için en uygun modelin üç boyutlu bifaktör model olduğu sonucuna varılmıştır. Madde havuzunun oluşturulmasının ardından, gerçek-zamanlı çok boyutlu BBT uygulamasında kullanılacak algoritmayı belirlemek amacıyla, eldeki eksik veri matrisi de göz önüne alınarak bir hibrit simülasyon uygulaması yapılmıştır. Bu simülasyon uygulamasında farklı yetenek kestirim yöntemlerinin (EAP ve MAP), farklı madde seçim yöntemlerinin (D-rule, KL, W-rule, T-rule, ağırlıklandırılmış W-rule ve ağırlıklandırılmış T-rule) ve farklı sonlandırma kurallarının (standart hata, θ değişimi ve sabit madde) kullanıldığı toplam 36 farklı koşul yaratılmış; bu koşullarda her bir boyut için gerçek ve kestirilen θ değerleri arasındaki korelasyon ile birlikte yanlılık, RMSD ve standart hata değerleri elde edilmiştir. Korelasyon değerleri ve hata istatistikleri ile birlikte, BBT uygulamalarında ölçme kesinliğinin önemli bir göstergesi olduğundan, değişken madde sayısına dayalı sonlandırma kuralının kullanıldığı koşullarda yanıtlanan madde sayısı da raporlanmıştır. Elde edilen sonuçlara göre; üç farklı sonlandırma kuralı için de D-rule madde seçim yöntemi ve MAP yetenek kestirim yönteminin en iyi istatistikleri verdiği bulgulanmıştır. Bir sonraki adımda her bir sonlandırma kuralı için en iyi koşullar karşılaştırılarak gerçek-zamanlı çok boyutlu BBT uygulaması için D-rule madde seçim yöntemi ve MAP yetenek kestirim yöntemiyle birlikte standart hataya dayalı sonlandırma kuralının kullanılmasına karar verilmiştir. Söz konusu algoritma kullanılarak gerçek-zamanlı çok boyutlu BBT uygulamasının yapıldığı 99 öğrenciden 32'sinin kağıt-kalem testiyle elde edilen toplam puanları ile gerçek-zamanlı uygulama sonucu elde edilen genel yetenek düzeyleri arasındaki korelasyon elde edilmiştir. Bunun yanında, uygulamanın yapıldığı toplam 99 kişinin sonuçlarına dayanarak havuzda yer alan maddelerin kullanım sıklıkları ve her bir bireyin yanıtladığı toplam madde sayısı da raporlanmıştır. Gerçek-zamanlı uygulama sonucu elde edilen sonuçlara göre; 200 maddeden oluşan havuzun %30'unun kullanıldığı görülmüştür. Testin bitirilmesiyle yanıtlanan ortalama madde sayısının 12.3 olduğu, ayrıca katılımcıların yaklaşık %75'inin 10 ile 12 arasında madde yanıtladıkları sonucuna ulaşılmıştır

This study aims to develop a multi-dimensional computerized adaptive test (MCAT) that measures grammar and vocabulary knowledge as well as general ability of the students attending Anadolu University School of Foreign Languages by using the data from Proficiency Exams administered for these student at the end of preparatory school education. To achieve this purpose, an item pool was created by using four different data sets each of which consists of 50 questions used in the previous proficiency exams administered at Anadolu Uniersity School of Foreign Languages. According to IRT-based analyses applied to the data, it was found that three-dimensional bifactor model was the most appropriate model for all item sets. Following the development of the item pool, a hybrid simulation was applied –by taking the missing matrix into consideration – in order to determine the algorithm to be used in real-time MCAT application. In this application, a total of 36 conditions were created in which different ability estimation methods (EAP and MAP), different item selection methods (D-rule, KL, W-rule, T-rule, weighted W-rule and weighted T-rule) and different termination rules (standard error, θ convergence, fixed number of items) were used. In these conditions, the correlation between estimated θ value and real value for each dimension; bias, RSMD and standard error values were obtained. Being an important indicator of measurement accuracy in CAT applications in addition to correlation values and error statistic, the number of items replied was also reported under the variable-length simulation conditions. According to the results obtained, it was found that D-rule item selection method and MAP ability prediction method give the best statistics for each different termination rule. Following the comparisons of best conditions for each termination rule, it was decided that the termination rules based on standard error as well as D-rule item selection method and MAP ability prediction method should be used for real-time MCAT application. By using this algorithm, a correlation was obtained between general ability levels obtained from the real-time application and the scores 32 students out of 99 received from paper-pencil test, who were applied real-time application. In addition, the total number of items administered to each individual and how frequently the items in item pool are used were reported based on the results obtained from the application carried out for 99 students. According to the results obtained from real-time application, it was found that 30% of the item pool, which includes a total of 200 items were used. It was also observed that the average number of items replied was 12.3 and nearly 75% of the participants replied 10 to 12 items.