Değişen madde fonksiyonu belirlemede kullanılan tekniklerin I. tip hata ve istatistiksel güç oranlarının karşılaştırılması

Abstract

Bu araştırmada, iki kategorili puanlanan maddelerde, KTK ve MTK' ye dayalı DMF belirleme tekniklerinin belirlenen koşullar altında I. Tip hata ve istatistiksel güç oranlarının karşılaştırılması amaçlanmıştır. Bu amaç doğrultusunda, Mantel- Haenszel (MH), Lojistik Regresyon (LR), Lord' un χ2' si ve Raju' nun Alan Ölçümleri teknikleri kullanılarak simülasyon çalışması yapılmıştır.Temel araştırma modelindeki araştırmada kullanılan simülasyon deseninde, 2PL madde tepki modeli, odak ve referans grubun yetenek dağılımları ile DMF türü sabit tutulan koşullar; örneklem büyüklüğü (1800, 3000), örneklem büyüklüğü oranları (0.50, 1), test uzunluğu (20, 80) ve DMF içeren madde oranı (0, 0.05, 0.10) manipüle edilen koşullardır. Veriler, R programında I. Tip hata ve istatistiksel güç oranları için ayrı ayrı üretilmiştir. Odak ve referans grubundaki a (x̄= 0.8, SS= 0.4) ve b (-2, 2) parametreleri aynı dağılımdan çekilmiştir. Belirli koşullar altında farklı DMF belirleme tekniklerinin I. Tip hata oranlarının belirlenmesi amacıyla, örneklem büyüklüğü N1= 1800 ve N2= 3000; örneklem büyüklüğü oranları R/O1= 0.50 ve R/O2= 1; test uzunluğu TU1= 20 ve TU2= 80 olacak şekilde değişimlenerek veriler üretilmiştir. İstatistiksel güç oranlarının belirlenmesi amacıyla ise örneklem büyüklüğü N1= 1800 ve N2= 3000; örneklem büyüklüğü oranları R/O1= 0.50 ve R/O2= 1; test uzunluğu TU1= 20 ve TU2= 80 olan koşullara ek olarak DMF içeren madde oranı için odak gruptaki belirli maddelerin b parametresine 0.50 eklenmiştir. DMF içeren maddelerin üretimi, odak grubun veri üretimindeki b parametrelerinin, referans grubun b parametresi üzerinde yapılan manipülasyonlarla elde edilerek tek biçimli DMF gösteren veriler üretilmiştir. DMF analizlerinde, iki örneklem büyüklüğü ve örneklem büyüklüğü oranı, iki test uzunluğu ve üç DMF içeren madde oranına göre üretilen (2x2x2x3) toplam 24 veri seti için 25 tekrarlama yapılmıştır.Verilerin analizi, R programındaki `difR` paketi kullanılarak yapılmıştır. MTK' ye dayalı teknikler için yapılan analizlerde `ltm` paketi kullanılarak; 2PL madde tepki modeline uygun kestirimler yapılmıştır.Araştırmanın sonucunda, I. Tip hata oranları için tüm tekniklerin, nominal alfa düzeyinin üzerinde şişirilmiş I. Tip hata oranları gösterdiği bulunmuştur. En yüksek hataya MH; en düşük hataya Raju' nun Alan Ölçümleri tekniğinin sahip olduğuna ulaşılmıştır. Diğer yandan, en yüksek istatistiksel güç oranlarını da MH tekniği vermiştir. I. Tip hata ve istatistiksel güç oranlarına ait bulgular birlikte incelendiğinde, iki kurama ait tekniklerinde 1800 örneklem büyüklüğünde daha iyi performans gösterdiği bulunmuştur. Ek olarak, örneklem büyüklüğünün artması MTK' den ziyade KTK' ye dayalı teknikleri daha fazla etkilemektedir. Bununla birlikte, test uzunluğunun 80 madde olduğu ve örneklem büyüklüğünün eşit olmadığı koşullarda, tekniklerin I. Tip hatalarının daha düşük; istatistiksel güç oranlarının daha yüksek olduğuna ulaşılmıştır.

In this study, it was aimed to compare type 1 error and statistical power rates under the conditions specified by DIF determination techniques based on CTT and IRT in items graded by dichotomous scored. For this purpose, a simulation study was conducted by using Mantel-Haenszel (MH), Logistic Regression (LD), Lord's Chi- Square, and Raju's Areas Measures.In the simulation design used in basic research model, two- parameter item response model, focus and reference group's ability distribution, and DIF type were the fixed factors while sample size (1800, 3000), rates of sample size (0.50, 1), test length (20, 80) and item rate including DIF (0, 0.05, 0.10) were manipulated factors. The data were produced for Type 1 error and statistical power rates separately in R program. The parameters a (x̄= 0.8, SS= 0.4) and b (-2, 2) in focus and reference groups were drawn from the same distribution. In order to determine Type 1 error rates by using DIF determination techniques under specific conditions, the data were produced by determining samples size as N1= 1800 and N2= 3000, the rates of sample size as R/O1= 0.50 and R/O2= 1, test length as TU1= 20 and TU2= 80. For the purpose of specifying statistical power rates, in addition to the same factors determined for Type 1 error, 0.50 was added to parameter b of certain items in the focus group for items including DIF rates. The items including DIF were produced by manipulating b parameter of reference group which was taken from focus group. As a result, data were produced showing uniform DIF. In DIF analyses, 25 replications were conducted for a total of 24 data set (2x2x2x3) produced according to two sample sizes, two rates of sample sizes, two test lengths, and three rates of items including DIF mentioned above. The analysis of the data was carried out by using `difR` pack in R program. In the analyses conducted for techniques based on IRT, predictions were made in accordance with 2PL item response design by using `ltm` command. In the current study, it was found that all techniques used for Type 1 error showed Type 1 error rates inflated above nominal alpha level. It was also demonstrated that MH had the highest error rate while Raju's Areas Measures had the lowest error rate. On the other hand, MH technique produced the highest statistical power rates. The analysis of the findings of Type 1 error and statistical power rates illustrated that techniques based on both of the theories performed better in 1800 sample size. Furthermore, the increase in the sample size affected techniques based on CTT rather than IRT. Also, the findings demonstrated that the techniques' Type 1 error rates were lower while their statistical power rates were higher under the conditions where test length was 80-item long and the sample sizes were not equal.