Bilişsel tanı modellerinde data/q matris genişletme yönteminin örtük sınıf dağılımları üzerine etkisi

Abstract

Bu araştırmada çoktan seçmeli ve yapılandırılmış yanıtlı madde formatlarında kısmi puanlamanın bilişsel tanı modellerine göre örtük sınıf değişmezliği üzerine etkisi incelenmiştir ve karma maddelerden oluşan test üzerinde data ve Q matris genişletme yöntemleri kullanılarak daha hassas yetenek kestirimi yapılması amaçlanmıştır. Ayrıca Q matrisinin genişletilip yeniden yapılandırılmasının bilişsel tanı modellerinde kullanılabilirliği incelenmektedir.Tezde kullanılan ölçme aracı, yapılandırılmış yanıtlı ve çoktan seçmeli maddelerden oluşan BTM kullanılarak yetenek kestirimlerinin yapılabilmesi amacıyla oluşturulmuş testlerdir. Testler 115K531 no'lu TÜBİTAK Projesi kapsamında yapılan araştırma için hazırlanmıştır ve çalışmanın verileri,115K531 no'lu TÜBİTAK Projesi kapsamında 6.sınıf düzeyindeki öğrencilere uygulanılan matematik alanına ait testlerden elde edilmiştir. Testte maddeler üst düzey düşünme becerilerini ölçecek nitelikte hazırlanmıştır. Maddelerin hazırlanması için öncelikle üst düzey düşünme becerileri ile ilgili madde yazma eğitimi verilmiştir. Sonra maddeler soru havuzundan, içlerinde alan uzmanlarının da bulunduğu hakemlerce puanlanarak seçilmiştir. Pilot uygulamalar sonrasında test hazırlanmış ve esas uygulamalar yapılmıştır. Oluşturulan testin PISA ve TIMMS ile aynı düzeye ve psikometrik özelliklere sahip olduğu yapılan analizler ile ortaya koyulmuştur. Araştırmada bilişsel tanı modeline uygun analizlerin gerçekleştirilebilmesi için test ve maddelerin ilişkilendirilebilecekleri özellik kümeleri belirlenmiş ve buna göre Q matrisler oluşturulmuştur. Alan uzmanları tarafından belirlenmiş Q matris ile maddeler 1-0 şeklinde puanlanıp yetenek kestirimi yapılmıştır. Daha sonra Q matris yeniden yapılandırılarak kısmi puanlanabilecek maddeler belirlenmiştir. Ardından maddeler tekrar puanlanarak yetenek kestirimi yapılmıştır. Bu şekilde madde sayısı iki katına çıkmıştır. Genişletilen datalar ile sınıflama düzeyinde yetenek kestirimleri yapılmıştır ve elde edilen veriler ilk datalardan elde edilen sonuçlar ile karşılaştırılmıştır. Ayrıca çoktan seçmeli ve yapılandırılmış yanıtlı maddelerin kısmi puanlanmasının parametre kestirimlerine etkisi incelenmiştir.Araştırmanın sonuçları incelendiğinde, maddenin yapısına göre kısmi puanlanacak şekilde Q matris ve data genişletildiğinde öğrencilere ilişkin daha detaylı bilgiler elde etme, öğrencileri daha geniş bir yetenek düzleminde görebilme ve onlara daha net bir geri bildirim verme imkanına sahip olunduğu gözlenmiştir.

In this study, the effect of partial scoring on implicit class invariance according to cognitive diagnostic models was investigated in multiple choice and structured responsive item formats, and it was aimed to make more accurate talent estimation on mixed test using data and Q matrix expansion methods. Furthermore, the usability of expanding and reconstructing the Q matrix in cognitive diagnostic models is examined.The measurement tool used in the thesis is the tests designed to make talent estimation by using BTM consisting of structured responses and multiple choice items. The tests were prepared for the research carried out within the scope of TUBITAK Project 115K531 and the data of the study were obtained from the tests of mathematics applied to 6th grade students under TUBITAK Project 115K531. The items were designed to measure high-level thinking skills. In order to prepare the items, first of all, substance writing training related to high level thinking skills was given. The items were then selected from the question pool by the referees, including field experts. After the pilot applications, the test was prepared and the main applications were made. The analysis revealed that the test had the same level and psychometric properties as PISA and TIMMS.In the research, feature sets that the test and items could be related to were determined and Q matrices were formed according to the cognitive diagnostic model. With the Q matrix determined by the field experts, the items were scored as 1-0 and talent estimation was performed. Then, the Q matrix was restructured and the items that could be scored partially were determined. Then, the items were re-scored and talent estimation was performed. In this way, the number of substances has doubled. Ability estimations were made at the classification level with the expanded data and the obtained data were compared with the results obtained from the first data. In addition, the effect of partial scoring of multiple choice and structured responding items on parameter estimations was examined.At the end of the study, it was observed that when Q matrix and data were expanded so as to be partially scored according to the structure of the item, it was possible to obtain more detailed information about the students, to see the students on a broader skill level and to give them a clearer feedback.