Madde takımlarının güvenirlik ve değişen madde fonksiyonu üzerine etkisi

Abstract

Bu çalışmada, yerel madde bağımlılığı gösteren madde takımları üzerindegüvenirlik ve değişen madde fonksiyonu (DMF) analizleri yürütülmüştür. Her birmadde takımında yer alan madde sayıları birbirinden farklılık gösterdiğindengüvenirlik analizleri dengelenmemiş desenlerde genellenebilirlik (G) kuramıyürütülerek gerçekleştirilmiştir. Değişen madde fonksiyonu analizleri ise maddetakımı etkisini ele alan ve almayan yöntemler ile cinsiyet ve bölüm değişkenleriüzerinden yürütülmüştür.Çalışmada kullanılan veri seti, bir devlet üniversitesinin Yabancı Diller YüksekOkulu tarafından yürütülen İngilizce Yeterlik Sınavındaki altı madde takımında yeralan 20 maddeye 1500 öğrencinin verdikleri cevaplardan elde edilmiştir. Testinhem bütününe yönelik hem de cinsiyet ve bölüme göre ayrı ayrı olmak üzerebetimsel istatistikler ve madde istatistikleri hesaplanmıştır.Çalışmanın amaçlarından biri, madde takımlarından oluşan testlerin güvenirliğeetkisini belirlenmek olduğu için, madde takımı etkisinin ele alınıp alınmadığıdurumlar için elde edilen güvenirlik katsayıları karşılaştırılmıştır. Bu bağlamdayürütülen G kuramı analizleri sonucu madde takımı etkisi ele alınmadığındakestirilen G ve Phi katsayılarının madde takımı etkisi ele alındığında kestirilen Gve Phi katsayılarından daha yüksek olduğu görülmüştür. Diğer bir ifadeyle maddetakımı etkisi ele alınmadığında güvenirliğin görece yüksek kestirildiği sonucunaulaşılmıştır.Araştırmada elde edilen sonuçlar doğrultusunda güvenirliği artırmak adına maddetakımı sayısındaki artışın, madde takımlarını oluşturan madde sayısındaki artıştandaha etkili olduğu sonucuna ulaşılmıştır. Ayrıca testte yer alan madde takımlarınıoluşturan madde sayıları bir madde takımından diğerine fazlasıyla değiştiğinde, budurumun güvenirliği olumsuz etkilediği görülmüştür.Çalışmada ayrıca, madde takımlarının değişen madde fonksiyonuna (DMF)etkisini belirlemek adına, madde takımı etkisini ele alan ve almayan iki yöntemkullanılmış ve sonuçlar karşılaştırılmıştır. Madde takımı etkisini ele alan DMFbelirleme yöntemi ile hem anlamlı düzeyde DMF gösteren madde sayısı hem dekestirilen DMF düzeyi madde takımı etkisini ele almayan yönteme oranla dahafazla çıkmıştır.DMF gösteren maddelerin eşit yetenek düzeyindeki gruplar için farklı işlemelerininnedenleri uzman görüşleri yardımıyla araştırılmıştır.Anahtar sözcükler: Madde takımı, güvenirlik, değişen madde fonksiyonu, genellenebilirlik kuramı, çok boyutlu madde tepki kuramı, madde takımı tepki kuramı, yerel madde bağımsızlığı

In this study, reliability and differential item functioning (DIF) analysis were carriedout on testlets which shows local item dependency. Since the items numbers pertestlets are different from one testlet to another, the reliability analysis were carriedout by using unbalanced design Generalizability (G) theory. The differential itemfunctioning analysis were carried out by using the methods taking and not takinginto account the testlet effect by means of sex and department variables.The data set for the study has been obtained from the answers of 1500 students tosix testlets composed of 20 items in English Proficiency Exam of a publicuniversity's Foreign Language School. Descriptive and item statistics werecalculated separately for both the whole test and subtests which were establishedaccording to sex and department.Since one of the aims of the study was to determine the effects of testlets onreliability, the cases in which the testlet effect was and was not taken intoconsideration were compared. It was seen that the estimated G and Phicoefficients were higher when the effect of testlets were not taken into accountthan the estimated G and Phi coefficients when the effect of testlets were takeninto account as a result of the G theory analysis conducted. In other words, it wasconcluded that the reliability was overestimated when the testlet effect was nottaken in to consideration.According to the results of the study, it was concluded that it is more effective toincrease the number of testlets rather than the items within testlets to increase thereliability. Moreover, it was seen that the differentiation of items within testlets fromone to another negatively affect the reliability.In the study also, to determine the effects of testlets on differential item functioning(DIF), two methods, one considering the testlet effect and one not, were used andthe results were compared. There were more items which shows statisticallysignificant DIF and also higher level of DIF were obtained with the DIF method considering the testlet effect compare to the method not considering the testleteffect.By the help of experts' opinions, the reasons of differential functioning of items forthe groups of same ability level were investigated.Keywords: Testlet, reliability, differential item functioning, generalizability theory, multidimensional item response theory, testlet response theory, local item independence