Madde tepki modellemesinde genellenebilirlik ile iki yüzeyli desenlerin incelenmesi

Abstract

Bu çalışmada, Madde Tepki Modellemesinde Genellenebilirlik yaklaşımı farklı koşullar altında iki yüzeyli bx(m:t) deseni ile incelenmiş ve sonuçlar Genellenebilirlik Kuramından elde edilen sonuçlar ile karşılaştırılmıştır. Çalışmada simülasyon verisi kullanılmıştır. Veri üretmede tek model kullanıp yanlı sonuçlar elde etme olasılığını ortadan kaldırmak için bu çalışmada üç farklı modele göre veri üretilmiştir. Bu modeller sırasıyla Genellenebilirlik Kuramı (GK), ilişkisiz madde takımı tepki kuramı (MTTK) ve ilişkili madde takımı tepki kuramı olarak adlandırılmıştır. GK doğrusal veri seti bx (m:t) dengelenmiş rastgele deseni için üretilmiştir. İkinci veri seti tamamlayıcı çok boyutlu madde takımı tepki kuramına (ÇBMTTK) göre üretilmiş ve ilişkisiz MTTK olarak isimlendirilmiştir. Üçüncü veri seti ise ikinci veri seti gibi tamamlayıcı ÇBMTTK'na göre üretilmiştir ancak yetenek ve madde takımı etkisinin ilişkili olduğu varsayılmıştır. Bu nedenle bu veri seti ilişkili MTTK olarak isimlendirilmiştir. Oluşturulan veriler madde takımı etkisi, örtük yeteneğe ait korelâsyonlar ve madde takımı uzunluğu / madde takımı sayısı açısından farklılık göstermektedir. Üretilen veriler toplamda yedi evrenden ve her evren dört farklı koşuldan oluşmaktadır.Araştırmanın sonucunda tüm evrenlere ait koşulların varyans kestirimleri incelendiğinde MTMG yaklaşımı ile elde edilen sonuçlar ile GK ile elde edilen sonuçlar arasında bir fark olmadığı görülmüştür. Briggs ve Wilson'ın (2007) yapmış oldukları çalışma elde edilen bu sonucu destekler niteliktedir. MTMG yaklaşımı ile kestirilen değerler ile GK ile kestirilen değerler arasında fark yoktur ancak MTMG yaklaşımı ile hata varyansını etkileşim varyansından ayrı olarak gözlenebilir.Çalışmada ayrıca madde takımları güvenirliği farklı koşullar altında incelenmiştir. Birey-madde takımı etkileşiminin küçük olduğu durumlarda etkileşimin büyük olduğu durumlara göre daha yüksek güvenirlik elde edilmiştir. Bunun yanında madde takımı etkisi arttıkça güvenirliğin düştüğü gözlenmiştir. Benzer şekilde madde takımı etkisi ile madde takımları arasındaki ilişki arttıkça daha düşük güvenirlik elde edilmiştir. Ayrıca tüm evrenlere ait koşullar incelendiğinde madde takımları için madde sayısı artıkça güvenirliğin arttığı gözlenmiştir.Anahtar sözcükler: Madde tepki modellemesinde genellenebilirlik, genellenebilirlik kuramı, madde takımı, madde takımı tepki kuramı, güvenirlik

An approach called generalizability in item response modeling (GIRM) is investigated with two facets bx(m:t) design and results are compared with results of generalizability theory in this study.In this study simulated data is used. Three different models are employed to generate data for having unbiased results. This models are named respectively generalizability theory (GT), uncorrelated testlet response theory (TRT) and correlated testlet response theory. In GT linear model random facets bx(m:h) design are used for generating data. The second model is generated as the multidimensional TRT and referred to as uncorrelated MTRT. The third model adopted is the same MTRT model but there are correlation between general ability and testlet effect. Therefore this model is referred to as correlated MTRT.Generated data are differed by factors. This factors are testlet effect, correlations of latent traits, testlet length and number of testlet. All generated data consist of seven different universes and all universes have four different conditions.According to the results of this study the estimates of variance components obtained using GIRM approach are generally quite similar to those obtained using GT approach. Briggs and Wilson's (2007) study is supported this result. There is no difference between results of GIRM and GT but with GIRM error variance could be separated from residual variance. This study also examines the reliability of testlets under different conditions. Testlets are more reliable when person-item variance is smaller. Furthermore when testlet effect is increased then reliability is decreased. Also correlation between testlet effect and testlets causes low reliability. When condition of all universes are investigated it is concluded that it is effective to have more items to increase reliabilityKeywords: Generalizability in item response modeling, generalizability theory,testlet, testlet response theory, reliability