Bağıl ve mutlak değerlendirme ile DINA modele göre yapılan sınıflamaların geçerliğinin karşılaştırılması

Abstract

Bu çalışmada, Bilişsel Tanı Modellerinden biri olan DINA model ve geleneksel yöntemlerle yapılan sınıflamaların geçerliği incelenmiştir. İki yöntem arasında karşılaştırılmaların yapılabilmesi için DINA modelle analiz yapılmaya uygun ?eğitimde ölçme ve değerlendirme? dersine ait bir ölçme aracı geliştirilmiştir. Ölçme aracındaki her bir maddeyi doğru cevaplamak için gerekli olan özellikler uzmanlar tarafından belirlenmiş ve madde özellik ilişkisini gösteren Q matrisi uzman uyumu gözetilerek hazırlanmıştır.Geliştirilen ölçme aracı Ege Üniversitesi Eğitim, Edebiyat ve Fen Fakültelerinde okuyan 471 öğrenciye uygulanmıştır. Uygulama sonucunda öğrencilerin ham puanları mutlak ölçüt ve bağıl ölçüt kullanılarak geçti kaldı kararlarına göre sınıflandırılmıştır. Bu sınıflandırma ile DINA modele dayalı sınıflandırmalar karşılaştırılmıştır.DINA model analizi sonucunda, öğrencilerin ölçme aracındaki maddelerle ilişkilendirilen 7 özellikten hangilerine sahip olduklarını gösteren, öğrenci örtük sınıfları belirlenmiştir. Uzman görüşleri doğrultusunda öğrencinin dersten başarılı sayılması için en az 4 özelliğe sahip olması gerektiğine karar verilmiş ve bu sonuçlara göre iki yöntem karşılaştırılmıştır.Mutlak ölçüt kullanılarak yapılan değerlendirme ve DINA model sınıflandırmalarının karşılaştırması sonucunda, hakkında kaldı kararı verilen öğrencilerin 50 tanesi ve hakkında geçti kararı verilen öğrencilerin 28 tanesi için iki yöntemle verilen kararlarda farklılık gözlenmiştir. Araştırma sonucunda mutlak ölçütle DINA model arasında bütün grup için yapılan sınıflamalarda toplam %16.5 oranında uyumsuzluk olduğu belirlenmiştir.Bağıl ölçüt kullanılarak yapılan değerlendirmelerde hakkında kaldı kararı verilen öğrenciler için iki yöntem aynı sonuçları vermiştir. Bununla birlikte Bağıl değerlendirmede hakkında geçti kararı verilen 87 öğrenci için DINA model öğrencilerin maddeleri doğru cevaplamak için gerekli özelliklere sahip olmadığı kararını vermiştir. Bağıl ölçüt kullanılarak yapılan değerlendirme ve DINA modele göre yapılan sınıflamalar arasındaki uyumsuzluk oranı %20 olarak hesaplanmıştır.

The purpose of this dissertation is to examine the validity of classifications by DINA Model as a Cognitive Diagnostic Model and by traditional methods. In order to make comparisons between DINA Model and traditional models, a measurement tool that belongs to ?measurement and assessment in edution? class which is appropriate for DINA Model analyses is developed. Properties necessary for answering each item of measurement tool are determined by scholars and the Q matrix which shows item-property relation is prepared considering the compatibility of decisions made by various scholars.Above mentioned measurement tool is applied to 471 undergraduates from the Faculty Education and Arts and Sciences of Ege University. Raw scores of undergraduates are classified according to their success, that is whether they passed the class or failed, through criterion-referenced and normative assessment. And then this classification is compared with other classifications based on DINA Model.Through DINA Model analysis, latent classes -that show which of those 7 properties related with items of the measurement tool a student has- are determined. Relying on the views of the scholars, it is decided that a student should have at least 4 properties to be regarded as successful, and the two methods are compared according to these results.The comparison of assessment by normative assessment and classifications by DINA Model shows that the results are different for 50 undergraduates who failed and 28 who passed the class. As a consequence of the study, it is observed that the inconsistency between the normative assessment and DINA Model is 16.5% for the whole group.In assessments done by criterion-referenced, for the students who failed, two methods give the same results. However, for 87 students who are supposed to pass according to criterion-referenced assessment, DINA Model results show that these undergraduates are not qualified to give the right answers of the items. The incompatibility between assessments according to criterion-referenced and classifications according to DINA Model is calculated as 20%.