Gözlenen gruplara ve örtük sınıflara göre belirlenen değişen madde fonksiyonunun karşılaştırılması

Abstract

Değişen Madde Fonksiyonu (DMF) incelenirken genellikle gözlenen değişkenler (cinsiyet vb.) dikkate alınarak referans ve odak gruplar oluşturulur. Bu gruplarda bireylerin maddeye verdiği cevapların benzer fonksiyon gösterdiği kabul edilir. Bir grubun ölçülen yetenek bakımından homojen topluluklardan oluştuğu varsayılır ve ilgili gözlenen grupta maddenin grup içinde DMF göstermesi olasılığı çoğu zaman dikkate alınamaz. Homojenliğin sağlanamaması nedeniyle bireylerin cevap örüntülerine göre oluşturulan örtük sınıflar ile DMF çalışmalarının yapılması söz konusu olmuştur.Bu çalışmada önceden belli gözlenen gruplara dayalı DMF belirleme ile `çok düzeyli karma madde tepki kuramı` (ÇDKMTK) yardımı ile ortaya çıkarılan örtük sınıflara dayalı DMF belirleme bakımından I.Tip hata ve güç oranları incelenmiştir. Bu amaçla örneklem büyüklüğü 5000 olarak belirlenmiştir. Veri, gerçeği yansıtması açısından geniş ölçekli sınavlarda farklı okullardan öğrencilerin sınava alındığı durum dikkate alınarak 100 farklı okul örneklemlerinden 50'şer öğrenci seçilecek şekilde üretilmiştir. Araştırmada bir tane iki kategorili gözlenen grup değişkeni (cinsiyet vb.), bir tane iki kategorili öğrenci düzeyi değişkeni (ekonomik düzey vb.) ve bir tane iki kategorili okul düzeyi değişkeni (okulun konumu vb.) yer almaktadır. DMF'li madde oranı, referans-odak grup oranı, DMF etki büyüklüğü ve gözlenen grup ile örtük sınıfların örtüşme oranı değişen koşullar olarak ele alınmıştır. DMF incelemek üzere gözlenen grup değişkenine ilişkin yöntemlerden klasik test kuramı çerçevesinde Mantel Haenszel (MH) tekniği ve madde tepki kuramı çerçevesinde Lord'un ki-kare tekniğinden yararlanılmıştır. Örtük sınıflar ÇDKMTK modeli ile belirlenmiş, buna ilişkin analizler R programında MplusAutomation kütüphanesi üzerinden 1-PL modele göre yapılmıştır. ÇDKMTK ile yapılan kestirimlerde En Çok Olabilirlik yöntemi kullanılmıştır. Üretilen gözlenen grup değişkeninde bir kategori referans, diğer kategori odak grup olarak belirlenmiştir. MH ve Lord'un ki-kare yöntemleri ile maddelerin referans ve odak grup arasında DMF bakımından incelenmesi için R 3.1.2 programında `difR` kütüphanesi kullanılmıştır. Öğrenci düzeyi örtük sınıfları arasında DMF incelemek üzere sınıf özellikli kestirilen madde parametreleri bir sınıf için referans, diğer sınıf için odak grup olarak ele alınmıştır. Çalışmada örtük sınıflara ait madde parametreleri MH tekniği ile karşılaştırılmıştır. Eğer hata, 0.025 ≤ I.Tip hata oranı ≤0.075 aralığında ise I. tip hatanın iyi kontrol edildiği sonucuna ulaşılmıştır. Güç değerinin 0.80 değerinin üzerinde bulunduğu durumlarda ilgili yöntemin DMF belirleme bakımından yeterli olduğuna karar verilmiştir. Sonuçlar, etki büyüklüğünün yüksek ve DMF içeren madde sayısının fazla olduğu durumda verinin ÇDKMTK modeline daha iyi uyum sergilediğini göstermiştir. DMF etki büyüklüğü 1.0 iken örtüşme oranlarının tamamında ve tüm DMF içeren madde oranı ve referans-odak grup koşullarında ÇDKMTK'nın gücü yüksek, I. tip hata oranı düşük bulunmuştur. Örtüşme oranı %90 iken MH ve Lord'un ki-kare yöntemlerinin gücü ve I. tip hatası tüm koşullarda kabul edilebilir düzeydedir. Örtüşme oranı azaldığında MH ve Lord'un ki-kare yöntemlerinin gücü düşmektedir. Bu nedenle DMF çalışmalarında kullanılacak veriye uygun modele göre örtük sınıf değişkeni ya da gözlenen grup değişkeni ile DMF belirleme yöntemine karar verilmesi önerilmektedir.

Reference and focal groups are formed by generally regarding manifest variables (for example; gender) while differential item functioning (DIF) being examined. It is assumed that responses, by individuals to the item, function similarly in these groups. It is supposed that a homogeneous group in respect to measured capability and the possibility of item's exhibiting differential item functioning in related manifest group is not regarded. Differential item functioning studies are done with latent classes formed in respect of response patterns of individuals because homogeneity cannot be provided.In this study, I. type error and power rates, which are formed with multilevel mixture item response theory, in respect to determination of differential item functioning depended on latent classes and determination of differential item functioning depended on previously determined manifest groups are examined. The sample size determined as 5000 upon this aim. The sample group is formed by selecting 50 students from each sample group, from 100 different schools, and by regarding that the students from different schools are tested in large-scale exams with the aim of data's reflecting the truth. In this study, a two categorized manifest group variable (for example; gender), a two categorized student degree variable (for example; economic status) and a two categorized school degree variable (for example; location of the school) take place. The rate of item exhibiting differential item functioning, the rate of reference-focal groups, effect size of differential item functioning, and the overlap of manifest class and latent classes are examined as manipulated conditions. It is benefited from Mantel Haenszel technique under the framework of classic test theory, which is one of the methods on manifest group variable and Lord's chi-square technique under the framework of item response theory to examine the differential item functioning. Latent classes are determined through multilevel mixture item response theory and analyses, with respect to this, are carried out in respect of 1-PL model by MplusAutomation library in R software. Maximum Likelihood estimation method used to estimate parameters with multilevel mixture item response theory. One category is determined as reference group and the other one is determined as focal group in produced manifest group variable. ''difR'' library is used in R 1.2.3. software to examine items between reference and focal groups in respect to differential item functioning by Mantel Haenszel technique and Lord's chi-square technique. Item parameters, class qualified estimated to examine differential item functioning among latent classes in respect to student degree, are examined as reference group for one class and as focal group for the other one. Item parameters belonging to latent classes are compared through Mantel Haenszel technique in the study. It is reached that I. type error is checked in a good way if the error is between the ranges of 0.025 ≤ I. type error rate ≤ 0.075. It is decided to be adequate in respect to determination of differential item functioning in the situations that numerical power value is above 0.80. The results show that data adapts better to multilevel mixture item response theory in the situation that effect size is high and the number of item, which exhibit differential item functioning, is many. While differential item functioning effect size is 1.0, the power of multilevel mixture item response theory is found high in the conditions of reference-focal groups, the rate of all the items including differential item functioning, and in the whole of overlaps and I. type error rate is found low. While overlap is % 90, the power and I. type error of Mantel Haenszel technique and lord's chi-square are at acceptable degree in all conditions. When overlap decreases, the power of Mantel Haenszel technique and Lord's Chi-square weaken. Because of this, the method of determination of differential item functioning through latent group variable or manifest group variable in respect of appropriate for the data which is to be used in differential item functioning studies.