Kopya belirleme indekslerinin çeşitli koşullar altında I. tip hata oranlarının ve güçlerinin belirlenmesi

Abstract

Bu çalışmada, çoktan seçmeli maddelerden oluşan testlerde kopya belirlemede kullanılan S1 ve S2 indeksleri ile Kappa istatistiğinin, çeşitli koşullar altında I. Tip hata oranlarını ve güçlerini ortaya koymak amaçlanmaktadır. Bununla birlikte Kappa istatistiğinin hesaplanması için oluşturulan kopyacı gruplarının, istatistiğin I. Tip hata oranı ve kopya belirleme gücünü nasıl etkilediğini ortaya koymak amaçlanmaktadır.Çalışmada beş seçenekli çoktan seçmeli teste ait veri üretimi yapılarak seçenek matrisleri elde edilmiştir. Veri üretiminde ve analizinde R-3.0 programı kullanılmıştır. İndekslerin belirlenen α düzeylerine (0.0005, 0.001, 0.005, 0.01 ve 0.05) göre örneklem büyüklüğü, test uzunluğu ve kaynağın yetenek düzeylerinin I. Tip hata oranlarına etkisi ve bu koşullara ek olarak kopya oranının kopya belirleme güçlerine etkisi incelenmiştir. İndekslerin kopya belirlemede I. Tip hata oranları ve güçleri 100 replikasyon yapılarak analiz edilmiştir. Çalışma sonucunda S1 ve S2 indekslerinin kopya belirlemede I. Tip hata oranlarının tüm koşullarda düşük olduğu; Kappa istatistiklerinin I. Tip hata oranlarının ise görece daha yüksek olduğu görülmüştür. Oluşturulan her kopyacı grubu için hesaplanan Kappa istatistiğinin her koşulda S1 ve S2 indekslerine göre daha güçlü olduğu görülmüştür. Özellikle örneklem büyüklüğü, test uzunluğu ve kopya oranı arttıkça S2 indeksinin, S1 indeksine göre daha güçlü olduğu ortaya çıkmıştır.Üç farklı büyüklükteki kopyacı grubu kullanılarak hesaplanan Kappa istatistiklerinin kopya belirlemede I. Tip hata oranları ve güçleri birbirine yakın sonuçlar vermiştir.Küçük örneklemlerde S1 ve S2 indekslerinin kopya belirleme gücünün azaldığı, I. Tip hata oranının ise arttığı ortaya çıkmıştır.Kaynağın yetenek yüzdeliğinin %50 ile %79 aralığında S1 ve S2 indekslerinin daha güçlü olduğu görülmüştür. Kaynağın yetenek düzeyinin Kappa istatistiklerinin kopya belirleme gücüne etkisinin düşük olduğu görülmekle birlikte; kaynağın yetenek düzeyinin artmasıyla güçte çok az düşüşlerin olduğu, I. Tip hata oranında ise artışın olduğu görülmüştür.Kopya oranı ve test uzunluğu arttıkça üç yöntemin de kopya belirleme gücünün arttığı; ancak düşük kopya oranlarında S1 ve S2 indekslerinin kopya belirlemede zayıf kaldığı görülmüştür.Anahtar Kelimeler: Kopya belirleme yöntemleri, S1 ve S2 indeks, Kappa istatistiği

In this study, determination of Type I error rates and powers for S1, S2 indices and Kappa statistic at the copy detection of multiple choice tests under various conditions has been aimed. In addition to this determination of the copycat groups created to calculate Kappa statistic effects on Type I error rate and copy detection power has also been aimed. In this study, choice-matrices were obtained by using five choices of multiple choice test data generation. R-3.0 software was used for data generation and analyses. Effects of sampling size, test length and the ability levels of source on the Type I error rates and effects of same conditions with copy rates on copy detection power according to α-levels (0.0005, 0.001, 0.005, 0.01 and 0.05) of indices were investigated. Type I error rates and powers of copy detection indices were analysed in 100 replications. At the end of the study, it was determined that the Type I error rates of S1 and S2 indices were lower in all conditions while same error rates was relatively higher for Kappa statistics for detection of copy. It was determined that calculated Kappa statistic for each copycat group was more powerful than S1 and S2 indices in each conditions. Especially, S2 index was more powerful than S1 index with increasing sampling size, test length and copy rate.Type I error rate and power results of copy detection Kappa statistics calculated from three different size of copycat group were close to each other. It is determined that copy detection power of S1 and S2 indices was decreased and Type I error rate was increased at the small samplings.S1 and S2 indices were found to be more powerful at the percentage of source ability in the range of 79% to 50%. Although the effects of source ability level on copy detection Kappa statistics were low, minimal decreases of power and increases of Type I error rate were determined with increasing source ability level.It was determined that copy detection power of three methods was increased with increasing copy rate and test length, but S1 and S2 indices were weak in determining copy at low copy rates. Keywords: Copy detection methods, S1 and S2 index, Kappa statistic.