Çok boyutlu karma-format testlerin ölçeklenmesini etkileyen faktörlerin incelenmesi

Abstract

Bu çalışma kapsamında karma format maddelerden oluşan bir, iki ve üç boyutlu testler DOGOM (Denk Olmayan Gruplarda Ortak Madde) deseni kullanılarak ölçeklendiğinde ortak madde setinin yapısı (yalnızca iki kategorili maddelerden oluşan ortak madde seti - iki ve çok kategorili maddelerin yer aldığı ortak madde seti), yetenek daralması (üst yetenek grubunda yetenek varyansının daralması - varyansın eşit kalması) ve parametre kestirim yöntemlerinin (EM - MHRM) ölçekleme sonuçları üzerindeki etkisi incelenmiştir. Ayrıca bu koşulların etkileşim içinde olup olmadığına bakılmıştır. Çalışma, türetilmiş veriler kullanılarak gerçekleştirilmiştir. Ölçeklemenin niteliğinin değerlendirilmesinde ölçme hatası ve yanlılık değerleri kullanılmıştır. Veriler türetilirken yanıt matrisleri, içerisinde İKM (iki kategorili madde) ve ÇKM(çok kategorili madde)'ler yer alacak şekilde oluşturulmuştur. İKM'ler için parametre kestirimi 3 parametreli modele (3PLM) göre, ÇKM'ler için ise aşamalı tepki modeline (ATM) göre gerçekleştirilmiştir. Veri türetme ve analizi sürecinde gerçekleştirilen işlem 50 defa tekrarlanmıştır. Ayrıca, araştırmada gerçekleştirilen veri türetme, testlerin kalibrasyonu ve ölçekleme işlemleri için R programı kullanılmıştır. Etkileşimleri incelemek için kullanılan iki ve üç yönlü analizler SPSS ile gerçekleştirilmiştir. Araştırmada sonucunda ortak madde yapısının ölçekleme işlemi sonucunda ortaya çıkan hata ve yanlılık miktarını önemli ölçüde etkilediği görülmüştür. Buna göre karma format testlerde ortak madde setinin sadece İKM'lerden oluşması ölçekleme hatasını bazı istisnalar haricinde arttırmaktadır. Elde edilen bu bulgu, araştırmada kullanılan testlerin boyut sayısından bağımsız olarak kendini göstermektedir.Varyans daralmasının etkisi incelendiğinde yetenek parametresi ve ÇKM'lere ait a parametreleri için farklılaşmalar olduğu görülmüştür. Bu farklılaşmalar iki boyutlu testler için hata ve üç boyutlu testler için ise yanlılık değerlerinde gözlenmiştir. ÇKM'lerin a parametreleri için ise üç boyutlu testlerin ikinci boyutu için hata değerlerinde farklılaşmalar olduğu bulunmuştur. Her iki parametre için varyansın azaldığı durumda daha iyi sonuçlar elde edildiği görülmüştür. Kullanılan kestirim yönteminin etkisi incelendiğinde ise tek boyutlu verilerde yetenek parametresi için hata ve yanlılık değerlerinin EM kestirim yöntemi için daha az olduğu, iki ve üç boyutlu testlerde ise bazı boyutlar için yanlılık değerlerinin MHRM kestirim yöntemi için daha az olduğu görülmüştür. Ayrıca İKM'lerin a ve b parametreleri ve ÇKM'lerin eşik parametreleri için bazı durumlarda kestirim yönteminin hata ve yanlılık değerlerini etkilediği görülmüştür. Gözlenen bu farklılaşmalar testlerin boyut sayısından bağımsızdır. ÇKM'lerin a parametresinin ise kestirim yönteminden etkilenmediği görülmüştür. Son olarak, etkileşimler incelenmiştir. Buna göre, yetenek parametresi için iki ve üç boyutlu testlerde bazı koşullara göre yanlılık değerlerinin ikişerli ve üçerli etkileşimler gösterdiği bulunmuştur. İKM'lere ait a ve b parametreleri için bakıldığında b parametresine ait hata ve yanlılık değerlerinde yalnızca üç boyutlu testlerin birinci boyutunda varyans daralması ve kestirim yöntemi değişkenlerinin etkileşim içinde oldukları görülmüştür. İKM'lere ait a parametrelerine ait hata değerleri için iki boyutlu testler ile üç boyutlu testlerin ilk boyutunda üç koşulun etkileşim içinde olduğu bulunmuştur. Ayrıca, ÇKM'lere ait a parametreleri ile eşik parametreleri için iki boyutlu ve üç boyutlu testlerde etkileşim gözlenmemiştir. Üç boyutlu testlerde üç boyutun her birisi için OMY ve KY koşulları arasında etkileşim olduğu görülmüştür.Sonuç olarak, etkisi incelenen koşullar içinde ölçekleme sonuçları üzerinde en fazla etkisi olan koşulun ortak madde yapısı olduğu sonucuna varılmıştır. Ayrıca, kestirim yöntemine göre gözlenen etkilerin tek boyutlu testler ile iki-üç boyutlu testler için farklılaştığı sonucuna varılmıştır.Anahtar sözcükler: Test ölçekleme, çok boyutluluk, karma format testler, eşitleme hatası, yanlılık, çok boyutlu madde tepki kuramı

In this study, the effects of the composition of common item set (common item set with only dichotomous items – common item set with mixed format items), scale shrinkage (shrinkage of ability variance for higher ability group – same ability variance) and estimation methods (EM – MHRM) on vertical scaling conducted by using Common İtem Non-Equivalent Group Design (CINEG) on unidimensional, two dimensional and three dimensional tests were investigated. In addition, possible interactions between these factors were examined. The study was conducted using simulated data. To evaluate the quality of scaling across study conditions, RMSE and bias values were computed. The simulation process involved generating response data matrices composed of both dichotomous and polytomous items. Simulation data were later used to calibrate item parameters for the Dichotomous items using the three parameter logistic model (3PLM) while polytomous items using the graded response model (GRM). For data generation and analysis, each process was iterated 50 times. Software written in R program was utilized to generate data, to calibration parameters and scaling. Two and three way ANOVA's were conducted to investigate the possible interactions by using SPSS. The results suggested that composition of common items largely affects both RMSE and bias values obtained from scaling process. Accordingly, using only dichotomous items in common item set increases RMSE and bias values even when there are some exceptions. This result is consistently observed irrespective of the number of dimensions in the dataset. As to the effect of scale shrinkage, it was found that there are differences observed for the ability parameters and the a parameters of polytomous items. These observed differences, belongs to RMSE values for two dimensional tests and to bias values for three dimensional tests. There was found another difference for a parameter of polytomous items in second dimension of three dimensional tests in terms of RMSE values. For both parameters, it was found that when the variance of ability parameter shrink, better scaling results were obtained. When investigating the effect of estimation methods, it was found that for ability parameter, the RMSE and bias values were smaller when using the EM method in one dimensional tests while the MHRM method give smaller bias values in some dimensions of two and three dimensional tests. Additionally, it was found that for the the b parameters of dichotomous items and threshold parameters of polytomous items, the estimation method was found to have an effect on RMSE and bias values on some occasions. These differences were observed irrespective of the number of dimensions in the tests. On the other hand, it was found that estimation method have no effect on the a parameters of both dichotomous and polytomous items. Finally, possible interactions were investigated. It was found that, on some occasions, for bias values of the ability parameters in two and three dimensional tests, two and three way interaction effects were observed. When the a and the b parameters of dichotomous items were considered, bias and RMSE values of the b parameters in three dimensional tests have interaction effect of scale shrinkage and estimation methods. There was three way interaction for the a parameters in three dimensional tests and first dimension of three dimensional tests. In addition, some interactions observed for the a and the threshold parameters of polytomous items in two and three dimensional tests. In all dimensions of three dimensional tests, common item composition and estimation methods show interaction. As a result, common item composition was found to have biggest effect on scaling results in comparison to the other factors investigated. In addition, scale results for dimensional tests were found to be affected more from estimation method when compared with two and three dimensional tests.Keywords: Test scaling, multidimensionality, mixed format tests, equating error,bias, multidimensional item response theory