Bireyselleştirilmiş bilgisayarlı test uygulamalarında madde kullanım sıklığı kontrol yöntemlerinin incelenmesi

Abstract

Bireyselleştirilmiş bilgisayarlı test (BBT) uygulamalarının gün geçtikçe daha fazlatercih edilmesiyle birlikte testlerin geçerliğini tehlikeye düşürebilecek bazı sorunlarında beraberinde geldiği görülmektedir. Uygulamalarda madde havuzunun çarpıkkullanılması, sık kullanılan maddelerin kişiler tarafından hatırlanabilmesi, maddehavuzu kullanımı sürekliliğinin sağlanamaması gibi durumların meydana gelmesi BBTsürecine yeni bir bileşenin eklenmesine sebep olmuştur. Bu nedenle test güvenliğinisağlayabilmek ve madde havuzunun kullanımını daha verimli hale getirebilmek içinmadde kullanım sıklığı kontrol yöntemleri geliştirilmiştir. Bu araştırmada da, çeşitlimadde kullanım sıklığı kontrol yöntemlerinin, madde seçme yöntemi ve maddehavuzu özelliklerine göre ölçme kesinliğine ve test güvenliğine olan etkisininincelenmesi amaçlanmaktadır.Araştırmada madde kullanım sıklığı kontrol yöntemleri olarak Bilgi Koşullu Tesadüfi (5ve 10 madde), Sympson-Hetter ve Azalarak Kaybolma yöntemleri kullanılmıştır.Ayrıca madde kullanım sıklığı kontrolünün yapılmadığı koşul da referans oluşturmasıiçin araştırmaya dahil edilmiştir. Madde seçme yöntemlerinden ise Fisher'in En ÇokBilgi, a-Tabakalama ve Aşamalı En Çok Bilgi Oranı yöntemleri kullanılmıştır.Simülasyon çalışması olarak yürütülen bu araştırmada 1000 bireye ait yetenekparametreleri ortalaması 0, standart sapması 1 olan normal dağılımdan eldeedilmiştir. Madde havuzları oluşturulurken; her iki madde havuzunda da a parametresi[0.50;2.00], c parametresi [0.05;0.20] aralığında tek biçimli dağılıma sahip olacakşekilde türetilmiştir. b parametresi ise orta güçlükteki madde havuzunda [-3.00;+3.00]aralığında tek biçimli dağılımdan, yüksek güçlükteki madde havuzunda ise ortalaması2, standart sapması 1.5 olan normal dağılımdan türetilmiştir. İlk madde seçimindebireylerin yetenek düzeyleri sıfır olarak tanımlanmış, yetenek kestiriminde iseBeklenen Sonsal Dağılım kestirim yöntemi kullanılmıştır. Sonlandırma kuralı olarak sabit test uzunluğu seçilmiş ve bu uzunluk 25 olarak belirlenmiştir. BBT uygulamasıbir günde 1000 kişinin uygulamaya katılması şeklinde simüle edilmiştir.Ölçme kesinliği için uyum katsayısı, RMSE, yanlılık ve ortalama mutlak fark değerlerihesaplanırken; test güvenliği için madde kullanım sıklığı oranlarının dağılımı veoranların ortalaması, standart sapması, en yüksek madde kullanım sıklığı oranı,ölçeklenmiş ki-kare istatistiği, F oranı ve test çakışması hesaplanmıştır.Fisher'in En Çok Bilgi ve Aşamalı En Çok Bilgi Oranı madde seçme yöntemlerininkullanıldığı koşullarda madde havuzu kullanımı açısından iki yöntem yakın sonuçlarvermiştir. a-Tabakalama yöntemi ise, madde kullanım sıklığının kontrol edilmediğidurumda bile madde havuzu kullanımını dengelemiş ve en çok madde kullanım sıklığıoranını, ?2 ve test çakışma oranını azaltmıştır. a-Tabakalama madde seçme yöntemive Azalarak Kaybolma madde kullanım sıklığı kontrol yöntemlerinin beraberkullanıldığı durumlarda madde havuzunun kullanımındaki çarpıklık ve test çakışmasıdiğer koşullara göre daha düşük olmuştur.Araştırmanın sonuçlarına göre, madde kullanım sıklığı kontrol yöntemlerikullanıldığında ölçme kesinliğini belirlemede kullanılan göstergelere ait değerlerdebüyük farkların bulunmadığı tespit edilmiştir. Test güvenliğine bakıldığında ise genelolarak Azalarak Kaybolma madde kullanım sıklığı kontrol yönteminin, maddehavuzunun kullanımındaki çarpıklığın ve test çakışmasının azaltılması açısından diğeryöntemlere göre daha iyi sonuçlar verdiği görülmüştür.Anahtar sözcükler: Bireyselleştirilmiş bilgisayarlı test, madde kullanım sıklığı kontrol yöntemleri, bilgi koşullu tesadüfi yöntem, Sympson-Hetter yöntemi, azalarak kaybolma yöntemi, ölçme kesinliği, test güvenliği

It has been seen that some issues that could imperil the validity of the tests are arisenafter the Computerized Adaptive Testing (CAT) administrations have been preferredrecently. These issues such as skewness of the item pool utilization, the possibility ofremembering the over-exposed items by examinees, not being able to progress thesustainability of item pool are caused to add new a component to CAT. Thereforeitem exposure control methods have been developed in order to ensure test securityand to make the use of item pool more efficient. This study aims at investigating thevarious item exposure control methods in CAT under dichotomously IRT model byusing different item pool characteristics and item selection methods in terms ofmeasurement presicion and test security.The exposure control methods used in this study were the randomesque method (with 5 and 10 items), the Sympson-Hetter method and the Fade Away method. Eachof these methods were compared with no-exposure control condition. MaximumFisher Information, a-Stratification and Gradual Maximum Information Ratio methodswere used as item selection methods.This study was a simulation study. 1.000 simulees were generated from a standardnormal N(0,1) distribution. a parameters were generated from a uniform distiributionwith the range of [0.50;2.00] and c parameters were generated from a uniformdistiribution with the range of [0.05;0.20] both medium and hard item pools. bparameters were generated from a uniform distiribution with the range of [-3.00;+3.00]for medium item pool, and from a standard normal N(2,1.5) distiribution for hard itempool. The initial theta estimate was assigned zero for each simulee and Expected APosteriori was used for ability estimation. The fixed test length rule was adopted toterminate the CAT and the length of the test was fixed at 25 items. The simulationwas designed as 1000 simulees attended CAT in one day.Fidelity, RMSE, bias and average absolute difference statistics were calculating forprecision of measurement; moreover item exposure rates and these rates' means andstandart deviations, maximum exposure rates, scaled chi-square statistic, F ratio andtest overlap were also calculated for test security.When Maximum Fisher Information and Gradual Maximum Information Ratio itemselection methods were used, the results of these two methods was close with regardto item pool utilization under all conditions. On the other hand, a-stratification methodbalanced utilization of items and also reduced maximum item exposure rate, ?2 andtest overlap statistics in case no item exposure methods were used. In case of usinga-stratification as item selection method and fade away method as item exposuremethod together, this combined method had the lowest skewness of item poolsutilization and test overlap compared to all other conditions.According to the results of this study, it has been verified that there was no differencein the value of indicators used to identify the precision of measurement whenexposure control methods were utilized. Fade Away method as item exposure controlmethod gave better results in regard to reducing the skewness of the item poolutilization and test overlap compared to others.Keywords: Computerized adaptive testing, item exposure control methods, randomesque method, Sympson-Hetter method, fade away method, precision of measurement, test security