Çok boyutlu madde tepki kuramı modelleri ve paket programları için karşılaştırmalı analizler

Abstract

Madde ve birey etkileşiminin tek boyutlu varsayılamayacak düzeyde karmaşık olduğunu savunan çok sayıda araştırmacı son zamanlarda çok boyutlu madde tepki kuramı modellerini araştırmalarında kullanmayı tercih etmektedir. Çok boyutlu madde tepki kuramı (ÇBMTK) modelleri aynı zamanda, tek boyutlu madde tepki kuramı modelleri gibi çeşitli test uygulamalarında (değişen madde fonksiyonu, eşitleme, bilgisayar ortamında bireyselleştirilmiş testler, gibi) kullanılabilmektedir. Bu uygulamaların çoğu madde parametrelerinin olabildiğince doğru kestirilmesi varsayımına sahiptir. Parametre kestiriminde kullanılan program, kestirim tekniği ve test koşulları doğru parametre kestirimi üzerinde önemli etkiye sahiptir. Her teknik ve program birbirinden farklı özelliklere sahiptir. Madde parametresi doğrulanması çalışmalarının bazıları farklı model, örneklem büyüklüğü ve farklı programların karşılaştırılmasını sağlamaktadır. ÇBMTK modelleri ile parametre kestirim tekniklerinin temel problemlerinden birisi madde parametresi doğrulanması ile boyut sayısı, boyut yapısı, madde sayısı, örneklem büyüklüğü, parametre dağılım koşullarının seçilmesi gibi test koşulları arasındaki ilişkilerin hala belirsiz olmasıdır. Bu çalışmada madde parametresi doğrulanması, ÇBMTK parametre kestirimi yapan iki popüler kestirim programı: BMIRT ve flexMIRT; iki çok boyutlu model: çok boyutlu telafi edici üç parametreli lojistik model ve çok boyutlu aşamalı tepki modeli; bu programların kullandığı üç kestirim tekniği: BA-EM, MH-RM ve MCMC; faklı test koşulları: boyut sayısı (3, 5), test uzunluğu (15, 30 ve 60), örneklem büyüklüğü (1000, 2000 ve 5000) ve boyutlar arasındaki korelasyon değerleri (0.0, 0.3, 0.6 ve 0.9) ile incelenmiştir. MCMC tekniği ile 4000 ve 8000 olmak üzere iki ayrı iterasyon sayısı kullanılmıştır Madde parametresi doğrulanmasının değerlendirilmesi için RMSE ve yanlılık değerleri incelenmiştir. Araştırma da elde edilen bulgulara göre madde sayısının 60 ve örneklem büyüklüğünün 5000 olduğu test koşulunda programlarla kestirilen madde parametreleri düşük hata ve sıfıra yakın yanlılık değerlerine sahiptir. Madde sayısının 15 ve örneklem büyüklüğünün 1000 olduğu test koşulunda ise programlarla kestirilen madde parametreleri en büyük hata ve yanlılık değerlerine sahiptir. Bütün test koşullarında c parametresi a ve d parametrelerine göre daha düşük yanlılık ve RMSE değerine sahiptir. a parametreleri test koşullarının büyük bir çoğunluğunda en büyük hata ve yanlılık değerlerine sahiptir. Ayrıca büyük örneklemlerde ve uzun testlerde, tüm teknikleri için elde edilen RMSE ve yanlılık değerleri birbirine oldukça yakın bulunmuştur. Araştırmada basit yapı ve iki-faktör modeli yapısı olmak üzere iki ayrı doğrulayıcı test yapısı ile modellere ait parametre kestirimi yapılmıştır. BA-EM tekniği ile kullanılan iki modele ait çok boyutlu basit test yapısındaki üç boyutlu veri setleri için madde parametresi kestirimi yapılmış ancak beş boyutlu veri setleri için madde parametresi kestirimi yapılamamıştır. Boyutlar arasındaki farklı korelasyon değerleri programlar tarafından uygun şekilde manipüle edilebilmiştir ve farklı korelasyon değerlerinin madde parametresi doğrulanmasına etkisi olmamıştır. Araştırmada kestirim tekniklerinin kestirim süreleri de karşılaştırılmıştır. Test koşulların büyük bir çoğunluğunda MH-RM tekniği en uzun, BA-EM tekniği ise en kısa sürede kestirim yapmıştır. Örneklem büyüklüğü, boyut sayısı ve test uzunluğundaki artışa bağlı olarak tüm tekniklerin parametre kestirim süreleri artmıştır. MCMC tekniğinin kestirim süresi üzerinde iterasyon sayısı önemli bir etkiye sahiptir. Daha büyük iterasyon sayıları ile (8000), küçük iterasyon sayılarına göre (4000) kestirim süresi daha uzun bulunmuşturAnahtar sözcükler: Çok boyutlu Madde Tepki Kuramı, BMIRT, flexMIRT, madde parametresi doğrulanması, MCMC, MH-RM, BA-EM

Recently many researchers advocate that item and person interactions are very complicate and these interactions can not be assumed as unidimensional. These researchers prefer to use of the multidimensional item response (MIRT) models in their studies. Like IRT models MIRT models can be used also with different test applications (such as (1) Equating; (2) Linking; (3) Differential Item Function (DIF); (4) Standard setting; and others). All those applications have the same assumption that item parameters are calibrated as accurately as possible. Computer programs, parameter estimation techniques and test conditions have most important effects on the estimation of item parameter. Every estimation technique and software have different properties than each other. Some type of item parameter recovery studies typically provide a comparison of different models, different sample sizes, or different software. The major challenge with parameter estimation techniques in MIRT models is that the relationship between parameter recovery and test specifications, such as number of dimensions, dimension structure, number of items, number of examinee, and selection of parameter distributions, is still not clear.In this study item parameter recovery of two popular MIRT parameter estimation software, BMIRT and flexMIRT; two multidimensional models, compensatory three parameter logistic model and graded response model; and three item parameter estimation techniques, BA-EM, MH-RM and MCMC that used with these software packages; under some common situations, number of dimension (3, 5), test length (15, 30, 60), number of examinees (1000, 2000, 5000) and correlation between dimension (0.0, 0.3, 0.6, 0.9) has been investigated. Two different iteration number (4000 and 8000) has been used with MCMC estimation technique. For evaluating the accuracy of item parameter recovery, root mean square error (RMSE), and bias have been used. According to results, RMSE and bias values have the smallest values with one of test specification which has 5000 sample size and 60 test length, for all conditions. RMSE and bias values have the highest values with one of the other test specification which has 1000 sample size and 15 test length. With all the test specifications c parameter has smaller RMSE and bias values than a and d parameters. a parameters have the highest RMSE and bias values for big part of the test specifications. The results of the RMSE and bias values has very closed for all techniques with big sample size and long test length.In this study, two different confirmatory test structure which are simple structure and bi-factor model has been used with multidimensional models and estimation techniques for estimation parameters. According to results, the item parameter of data sets which have simple structure has not been estimated with BA-EM estimation technique. But the item parameter of data sets which have bi-factor model structure has been estimated with it. Both of the software could manipulate the different correlation between latent traits and the different correlation values between latent traits have not important effect on the item parameter recovery. In the study, estimation time of the techniques also have been compared with each other. BA-EM technique has the smallest estimation time with the big part of the test specifications and MH-RM techniques has the highest estimation time with the same conditions. All techniques have higher estimation time with big sample size, high dimension and long tests. The iteration number also have an important effect on the estimation time of MCMC technique. With higher iteration number (8000) estimation time was longer than the small iteration number (4000).Keywords: Multidimensional item response theory, BMIRT, flexMIRT, itemparameter recovery, MCMC, MH-RM, BA-EM