Değişen madde fonksiyonunu belirlemede DINA modelde işaretli alan indeksi, standardizasyon ve lojistik regresyon tekniklerinin karşılaştırılması

Abstract

Bu çalışmada 2013-2014 Eğitim Öğretim yılı TEOG 1. ve 2. dönem matematik ve Türkçe dersi ortak sınavlarındaki maddelere cinsiyet ve kitapçık türüne göre DMF analizleri yürütülmüştür. Farklı büyüklükteki örneklemler (500-1000 ve 5000) için yapılan DMF analizlerinde DINA-DMF, Standardizasyon-DMF (ST-DMF) ve lojistik regresyon (LR) teknikleri kullanılmıştır. Gerçek veri analizlerine ek olarak simülasyon verisi üzerinden analizler yürütülmüştür. Ayrıca bu tekniklerle elde edilen bulgular incelenerek teknik karşılaştırılması yapılmıştır.Araştırmanın örneklemini Ankara'da TEOG matematik ve Türkçe dersi ortak sınavlarına giren öğrencilerden basit tesadüfi örnekleme ile seçilen öğrenciler oluşturmaktadır. Farklı derslere ait ortak sınavlar ve örneklemler kullanılarak DINA-DMF'ye göre yapılan DMF analizlerinin genellikle örneklem büyüklüğüne duyarlı olduğu ve büyük örneklemlerde daha fazla sayıda DMF'li madde elde edildiği görülmüştür. ST-DMF'de ise DINA-DMF'nin aksine özellikle 5000 kişilik örneklemde DMF'li madde ile karşılaşılmamıştır. LR DMF analizlerinde farklı örneklem büyüklüklerinde diğer tekniklere oranla daha tutarlı sonuçlar elde edilmiştir.1. ve 2. dönem matematik dersi ortak sınavları cinsiyete göre yapılan DMF analizlerinde, DINA-DMF analizleri örneklem büyüklüğünden etkilenmiş ve 5000 kişilik örneklemde en fazla sayıda DMF'li madde elde edilmiştir. ST-DMF'ye göre 500 ve 1000 kişilik örneklemlerde benzer ve yakın sayıda DMF'li maddelerle karşılaşılırken 5000 kişilik örneklemlerde DMF hesaplanmamıştır. LR tekniğine göre farklı örneklemlerde benzer DMF sonuçları elde edilmiştir. Matematik ortak sınavda kitapçık türüne göre yapılan DMF analizlerinde farklı büyüklükteki örneklemlerde teknikler kendi içinde yakın ve tüm sınavın %20'sini geçmeyecek sayıda DMF'li madde tespit etmiştir. Farklı büyüklükteki örneklemlerde kitapçık türü LR ve ST-DMF sonuçları, cinsiyete göre yapılan analiz sonuçlarıyla benzerlik göstermektedir. Fakat ST-DMF ve LR teknikleri 1000 ve 5000 kişilik örneklem büyüklüklerinde sayı bakımından yakın sonuçlar vermesine rağmen, aynı maddelerin DMF'li olarak belirlenmesinin uyumu açısından zayıf sonuçlar elde edilmiştir.1. ve 2. dönem Türkçe dersi ortak sınavları cinsiyete ve kitapçık türüne göre yapılan DMF analizleri matematik ortak sınavı sonuçlarına benzer sonuçlar vermiştir. DINA-DMF'ye göre örneklem artışı DMF'li madde sayısı artışı üzerinde etkili olmuştur. ST-DMF ve LR teknikleri 1000 ve 5000 kişilik örneklem büyüklüklerinde DMF'li madde sayısı açısından yakın sonuçlar üretmişidir. ST-DMF ve LR tekniklerinde DMF'li maddelerin düzey ve uyumlarına bakıldığında zayıf sonuçlar elde edilmiştir. Simülasyon veri üzerinden yapılan çalışmada ise daha yeterli bir Q matrisi kullanılmış ve parametreler 0,10, 0,20 ve 0,30 olarak belirlenmiştir. Simülasyon çalışmasında DMF içeren maddeler kullanılarak farklı tekniklerden elde edilen bulgular karşılaştırılmıştır. Farklı örneklem büyüklükleri için tekniklerden elde edilen sonuçlar gerçek veri sonuçlarıyla benzerlik göstermiştir.Anahtar Sözcükler: değişen madde fonksiyonu, temel eğitimden ortaöğretime geçiş, bilişsel tanı modelleri, DINA model.

In this study, differential item functioning (DIF) analyses are performed with respect to gender and booklet type in Mathematics and Turkish Exam of Transition From Basic Education to Secondary Education (TEOG) 2013-2014 terms. DINA-DIF, Standardization-DIF (ST-DMF) and logistic regression (LR) techniques are used for different sample sizes (500-1000-5000) in DIF analysis. In addition to the real data analysis, simulation study is conducted. Moreover, results obtained from those techniques were examined and compared.The sample of the study consist of the students selected through random sampling from the students entered TEOG Turkish and mathematics common exam in Ankara. According to the analysis carried out for different samples and exams; DINA-DIF is usually more sensitive to the sample size and the large number of samples showed more DIF items. Unlike DINA-DMF, there is no DIF items particularly encountered ST-DIF in the 5000 sample. Compared to other techniques, LR has more consistent results in different sample sizes.Results obtained from 1. and 2. term mathematics common exams gender DIF analysis impied that, DINA-DMF is affected from sample size and 5000 sample has the maximum number of DIF items. According to the ST-DIF analysis, for 500 and 1000 samples have close or similar DIF items results while there is no item showing DIF for 5000 sample. Results of LR analysis indicated that similar results obtained for different samples. According to the mathematics exam booklet type DIF analysis, techniques has close results in itself and determined no more than %20 number of items showing DIF. Samples of different sizes in the booklet type LR and ST-DIF results are similar with the results of analysis performed by gender. However, despite the ST-DIF and LR techniques give similar results in terms of the number of people in 1000 and 5000 sample size, poor results in terms of compliance with the determination of the same DIF items.1. and 2. term DIF analysis conducted according to gender and booklet type of Turkish course common examinations yielded similar results with the common math exam results. For DINA-DIF, sample size has been effective on the increasing number DIF items. ST-DIF and LR techniques has similar results in terms of the number of DIF items in 1000 and 5000 sample size. However, ST-DIF and LR has poor compliance for detecting the same DIF items. In the simulation study, more detailed Q matrix is used with fixed parameters to 0,10, 0,20 and 0,30. Results of simulation study obtained from different techniques were examined and compared. For different sample sizes, techniques has similar results with the real data. Keywords: differential item functioning, transition from basic education to secondary education, cognitive diagnostic models, DINA model.