Bilişsel tanı modellerinde yapısal eşitlik modeli ile q-matris doğruluğunun belirlenmesi

Abstract

Bu çalışmanın amacı, yapısal eşitlik modeline dayalı Q-matris modifikasyon önerisinin nasıl yapılabileceğini göstermek, yapısal eşitlik modeline dayalı Q-matris modifikasyonunun PVAF, Stepwise Wald testi Q-matris modifikasyon yöntemleriyle ve uzman kanısına dayalı Q-matrisi ile karşılaştırmaktır. Bu amaç doğrultusunda, bu Q-matrisleri kullanılarak elde edilecek model veri uyumu, madde parametreleri ve sınıflama doğrulukları G-DINA modeline göre incelenmiştir. Bu çalışmadaki bulgular 2017-2018 eğitim-öğretim döneminde Ankara ili Çankaya ve Yenimahalle ilçelerinde öğrenim gören 712 öğrenciden elde edilmiştir. Çalışmada veriler araştırmacı tarafından geliştirilen ve 9. sınıf matematik dersi sayılar ve cebir öğrenme alanı denklem ve eşitsizlikler alt öğrenme alanındaki beş niteliği ölçen 26 çoktan seçmeli maddeden oluşan testten elde edilmiştir. Çalışma sonucunda önerilen YEM'e dayalı Q-matris doğruluğunu belirleme yönteminden elde edilen Q-matrisinin, deneysel Q-matris geçerliğini sağlama yöntemleri olan PVAF ve Stepwise Wald yöntemlerinden elde edilen Q-matrisleriyle genel uyuşma oranlarının 0,74 ile 0,78 arasında değiştiği görülmüştür. Üç yöntemin G-DINA modele göre model veri uyumu incelendiğinde ise en iyi model veri uyuma sahip Q-matrisinin PVAF, daha sonra ise sırasıyla YEM ve Stepwise Wald Q-matrisi olduğu tespit edilmiştir. Üç yöntem için kestirilen mutlak uyum indekslerinin de kabul edilebilir düzeyde olduğu belirlenmiştir. UZMAN, YEM ve YEM+4UZMAN Q-matrisinin G-DINA modele göre model veri uyumu incelendiğinde ise en iyi model veri uyuma sahip Q-matrisinin YEM, daha sonra ise sırasıyla YEM+4UZMAN ve UZMAN Q-matrisi olduğu sonucuna ulaşılmıştır. G-DINA model için YEM, PVAF ve Stepwise Wald Q-matris modifikasyon yöntemlerinin sınıflama doğrulukları incelendiğinde YEM Q-matris modifikasyon yönteminin PVAF ve Stepwise Wald yöntemleriyle benzer sınıflama doğruluğu oranlarına sahip olduğu görülmüştür. Benzer şekilde UZMAN, YEM ve YEM+4UZMAN Q-matrisi için G-DINA modele göre kestirilen sınıflama doğruluğunun birbirine çok yakın olduğu sonucuna ulaşılmıştır. Çalışma sonucunda Q-matrisindeki değişikliğin grubun gizil sınıflarda yer alma yüzdesinde, bireysel bazda bir öğrencinin niteliklere sahip olma olasılıklarında ve öğrencinin yer aldığı nitelik profilinde/gizil sınıfta farklılaşmaya sebep olduğu görülmüştür. Sonuç olarak çalışma kapsamında önerilen YEM'e dayalı Q-matris doğruluğunu belirleme yöntemi araştırmada kullanılan verilerde diğer PVAF ve Stepwise Wald Q-matris geçerliği sağlama yöntemleri kadar iyi performans göstermiştir. Ancak bu çalışma YEM'e göre Q-matris geçerliğinin nasıl gerçekleştirilebileceği anlamında ilk adımı oluşturmaktadır ve yöntemin sınırlarının belirlenebilmesi için yapılacak çalışmalara ihtiyaç vardır.

The aim of this study is to propose a new Q-matrix modification method based on the structural equation model and to compare this SEM-based Q-matrix modification with other Q-matrix modification methods, such as PVAF, Stepwise Wald test, and Q-matrix based on expert opinion. For this purpose, using the Q-matrices, the model data fit, item parameters, and classification accuracy were examined according to the G-DINA model. The findings of this study were obtained from 712 students in Çankaya and Yenimahalle districts of Ankara province in 2017-2018 academic year. The data was obtained from a test consisting of 26 multiple-choice items developed by the researcher and measuring five qualities from equations and inequalities sub-learning domain of numbers and algebra learning domain in the 9th-grade mathematics program. As a result of the study, it was seen that the general agreement ratios between the Q-matrix obtained from the SEM-based validation method and the Q-matrices obtained from the PVAF and Stepwise Wald methods, which are experimental Q-matrix validation methods, varied between 0,74 and 0,78. When the model data fit of the three methods according to the G-DINA model was examined, it was found that the Q-matrix with the best model data fit was PVAF, then YEM and Stepwise Wald Q-matrix, respectively. The absolute fit indexes estimated for the three methods were also acceptable. When the model data fit of EXPERT, SEM, and SEM+4EXPERTS Q-matrices according to the G-DINA model is examined, it is concluded that the Q-matrix with the best model data fit is SEM and then the SEM+4EXPERTS and EXPERT Q-matrices respectively. When the classification accuracy of SEM, PVAF, and Stepwise Wald Q-matrix modification methods were examined for G-DINA model, it was seen that the SEM Q-matrix modification method had similar classification accuracy rates with PVAF and Stepwise Wald methods, it was concluded that the classification accuracy values estimated according to G-DINA model for EXPERT, SEM, and SEM+4EXPERTS Q-matrices are very close to each other. As a result of the study, it was seen that the change in the Q-matrix caused a difference in the percentage of students taking part in latent classes, the probability of a student having qualifications, and the profile of the latent class. As a result, SEM-based Q-matrix validation method proposed in the study performed as good as other PVAF and Stepwise Wald Q-matrix validation methods in the data used in the research. However, this study constitutes the first step in terms of how Q-matrix validation can be done according to SEM, and further studies are needed to determine the limits of the method.