Küçük örneklemlerde test eşitleme yöntemlerinin çeşitli faktörlere göre incelenmesi

Abstract

Bu araştırmada, küçük örneklemlerde seçkisiz gruplar desenine dayalı yapılan test eşitleme yöntemlerinin, örneklem büyüklüğüne, formlar arasındaki ortalama güçlük düzeyleri farkına, şans başarısına ve test uzunluğuna göre karşılaştırılması amaçlanmıştır. Bunun yanı sıra, hangi koşullar altında hangi yöntemin daha iyi sonuç verdiği araştırılmıştır.Araştırmada, üç parametreli lojistik modele (3PLM) uygun olarak, seçkisiz gruplar desenine göre, her bir form ( X ve Y) için, 5000'er kişilik, 1-0 şeklinde iki kategorili olarak evren verisi üretilmiştir. Bu araştırmada, bu iki test formunu eşitlemek için seçkisiz gruplar deseni kullanılmıştır. Hem X hem de Y formu için, şans parametre değeri 0.0, 0.1, 0.2, 0.25 olmak üzere dört düzeyde, test uzunluğu 25 ve 50 olmak üzere iki düzeyde değişimlenmiştir. Ayrıca X formu ile Y formu arasındaki güçlük düzey farkı, 0.1, 0.4 ve 0.7 olmak üzere 3 düzeyde değişimlenmiştir. Araştırmada yer alan faktörlere ve değişimlenen düzeylere uygun, X formu için 8 ve Y formu için 24 olmak üzere toplam 32 evren formu oluşturulmuştur. Araştırmada, simülatif olarak üretilen formlar, farklı örneklem büyüklüklerinde (10, 25, 50, 75, 100, 150, 200), özdeş, ortalama, doğrusal, Dairesel yay, C=2 ve C=3 düzeyinde log-linear ön-düzgünleştirme yapılmış eşit yüzdelikli eşitleme yöntemleri kullanılarak 100 replikasyon yapılarak eşitlenmiştir. Verilerin üretiminde ve formların eşitlenmesinde R 3.1 programı kullanılmıştır. Araştırmada yer alan sonuçlar, eşitlemenin standart hatası (SEE), eşitleme yanlılığı (BIAS) ve eşitleme hatası (RMSE) ölçütlerine göre değerlendirilmiştir.Araştırma sonucunda, 50 örneklem büyüklüğü ve üstünde, formlar arası güçlük düzey farkı 0.4 olduğu durumlarda eşitleme yapmanın faydalı olabileceği sonucuna ulaşılmıştır. Test uzunluğunun artması, tüm yöntemlerin hata değerlerinde doğrusal artışa yol açtığı görülmüştür. Ayrıca, şans parametre değerlerinin değişiminin Dairesel yay yöntemi dışındaki diğer yöntemlerin hata değerlerini önemli ölçüde etkilemediği görülmüştür. Araştırmada yer alan faktörlerin birçok düzeyinde, Dairesel yay ve ortalama eşitleme yöntemlerinin daha az hatalı eşitlemeler yaptığı saptanmıştır.

In this study, it was aimed to compare the equating methods for random group design using small samples by the variables such as sample size, average difficulty differences between forms, chance success and test length. Beside this, which method gave better results under what conditions was also investigated. In study, 5000 dichotomous simulated data which was consistent with three parameter logistic model (3PLM) was produced for each form (X and Y). In order to equate two test forms `the random groups design` was used in this study. For both X and Y forms, chance parametre values were altered in four levels (0.00, 0.10, 0.20, 0.25) and test length was altered in two levels (25 and 50). Furthermore, average difficulty difference between X and Y forms were altered in three levels (0.1, 0.4, 0.7). In this study, 8 forms for X and 24 forms for Y, in total 32 forms which were consistent with the variables studied and their levels were simulated. Simulated forms were equated by using identity, mean, linear, 2 and 3 moments pre-smoothing polynomial log-linear equipercentile and Circle-Arc Methods for seven different sample sizes (10, 25, 50, 75, 100, 150 and 200) with 100 replications. R.3.1 programming language was used to produce data and to equate the simulated forms. The results obtained from this simulation study were evaluated based on standard error of equating (SEE), equating bias (BIAS) and equating error (RMSE) criterions.The findings indicated that in the case when sample size was 50 and more and the level of average difficulty difference between forms was 0.4, it was concluded that equating forms would give better results than not equating. Increasing the test length caused to linear increasing equating error values of all equating methods. Moreover, it was resulted that changing chance parameter (c) didn't effect equating error values of equating methods except for Circle-Arc Method. Circle-Arc and Mean equating methods were found to less equating error than the other equating methods for small sample equating under most of the conditions studied.