Bilişsel tanı modellerinde madde parametreleri üzerinden örtük yetenek sınıflarının eşitlenmesi

Abstract

Bu araştırmada Bilişsel Tanı Modellerine uygun olarak geliştirilen iki testten elde edilen örtük yetenek sınıflarının eşitlenmesi amaçlanmıştır. Araştırma 'Uluslararası Geniş Ölçekli Sınavlarda Türkiye'nin Matematik Başarısını Arttırabilmek için Bir Model Önerisi: Bilişsel Tanıya Dayalı İzleme Modelinin Etkililiği' adlı 115K531 No'lu TÜBİTAK projesi kapsamında, proje örneklemi ve ölçme araçları kullanılarak yürütülmüştür. Araştırmanın çalışma grubunu İzmir İl Milli Eğitim Bakanlığına bağlı 12 okulda 6, 7 ve 8. sınıf öğrencilerinden toplam 992 kişi oluşturmaktadır. Bu gruba ortaokul 6. sınıf matematik öğretim programına uygun olarak, alan uzmanları öğretmenler tarafından hazırlanan testler uygulanmıştır. Her bir testte çoktan seçmeli ve açık uçlu olmak üzere toplam 15 madde bulunmaktadır. Testlere ait Q matrisler 4 özellik içermektedir ve uzman görüşlerine dayanarak hazırlanmıştır. Araştırmada, BTM parametrelerine göre belirlenen örtük yetenek sınıflarına ait cevaplayıcıların diğer testi almış olması durumunda atanacakları örtük yetenek sınıflarının ankor maddeler üzerinden belirlenmesine yönelik bir yöntem önerilmektedir. BTM analizleri DINA model ile yapılmıştır. Veri analizi üç aşamada gerçekleştirilmiştir. Öncelikle Test 1'in uygulandığı cevaplayıcıların cevap örüntüleri ve örtük yetenek sınıfları belirlenmiş, daha sonra Test 1 ve Test 2'den elde edilen madde parametreleri kullanılarak simülasyon data üretilmiştir ve DINA model ile analizi yapılmıştır. Son olarak, ilk test ile aynı örüntüye sahip olan dataların örtük yetenek sınıfları eşleştirilmiştir. Bu durumda Test 1'i alan cevaplayıcıların diğer testi almaları durumunda hangi örtük yetenek sınıflarına atanacakları belirlenmiştir. Araştırma sonuçları incelendiğinde; ankor madde kullanılarak eşitlenen testlerde iki test örnekleminin aynı sınıflama ölçeğinde değerlendirilmesine yönelik bulgulara ulaşılmıştır. Örtük yetenek sınıflarının eşitlenmesi sonucunda grubun %39'u aynı sınıfa yerleşmiş, %31'i dahil olduğu sınıftan daha üst sınıfta yani daha fazla özelliğe sahip olanların yer aldığı sınıflara atanmıştır. Grubun %22'si ise dahil olduğu sınıftan daha düşük sınıflarda yer almıştır. Araştırmada örtük yetenek sınıflarının eşitlenmesinin yanı sıra testlerin psikometrik özellikleri, model veri uyumu, sonsal olasılıkları, eşitleme sonrası özelliklere sahip olup olmama durumları incelenmiştir. Araştırma bulgularına göre BTM çalışmalarında örtük sınıflar için ankor maddeler kullanılarak eşitleme çalışması yapılabileceğine ilişkin istatistiksel kanıtlara ulaşılmıştır.

In this study, it is aimed to equalize the latent trait classes obtained from two tests developed with Cognitive Diagnostic Models.The study within the scope of `A Recommended Model to Increase Success Level of Turkey in Mathematics in International Wide-Scale Exams. Effectiveness of the Cognitive Diagnosis Based Tracking Model` TUBITAK number 115K531 project was conducted with the project's sample and measurement instruments. The sample of the study consisted of 992 students from 6th, 7th and 8th grades in 12 schools affiliated to İzmir Provincial Ministry of Education. To this group, tests prepared by field teachers in according to 6th-grade mathematics curriculum were applied. In each test, there are a total of 15 items, multiple-choice and open-ended and, these tests are containing Q matrices that have 4 attributes representing these items based on experts' opinions.In the study, a method for determining; in case of the respondents have taken the other test, the latent trait classes to be assigned, with anchor items according to CDM parameters, has been proposed. CDM analyses were performed with the DINA model. Data analysis was performed in three stages. First of all, the answer patterns and the latent classes of the respondents to whom Test 1 was applied were determined. Then, simulation data were generated by using item parameters obtained from Test 1 and Test 2 and analyzed with the DINA model. Finally, the latent classes of data that have the same pattern as the first test was matched. In this case, it was determined which latent trait classes will be assigned if the respondents taking Test 1, take the other test.When the research results were examined; in the tests which were equalized by using the anchor items, the results of the two test samples were evaluated at the same classification scale. As a result of the equalization of latent classes, 39% were placed in the same classes, 31% were in the higher classes than the classes they were included, ie in the class with more attributes. 22% of the group was in the lower classes. In this study, in addition to equalization of latent trait classes, psychometric properties of the tests, model-data fit, posterior probabilities, and whether or not the students have post-synchronization attributes were examined. According to the findings of the study, statistical evidence was obtained that an equalization study could be performed by using anchor items for latent classes in CDM studies.