DINA model ile geliştirilen bir testin psikometrik özelliklerinin belirlenmesi

Abstract

Bu araştırmada Bilişsel Tanı Modellerinden biri olan DINA model ile test geliştirme süreci gerçekleştirilmiş ve teste ait psikometrik özellikler belirlenmiştir. Geliştirilen test, 7. Sınıf Fen ve Teknoloji dersine ait Potansiyel ve Kinetik Enerji konu alanını kapsamaktadır. DINA model öğrencileri test toplam puanları yerine maddeleri doğru yanıtlamak için sahip olmaları gereken özelliklere göre sınıfladığından Potansiyel ve Kinetik Enerji konu alanı için gerekli olan özelliklerin tanımlanmasında uzman görüşlerine başvurulmuştur. Bu amaçla belirlenen beş uzman konu alanına ilişkin dört temel özellik belirlemiştir. Bu özellikler sonucunda oluşan 15 örtük sınıfa ait maddeler alanında deneyimli beş Fen ve Teknoloji öğretmeninden oluşan uzman grup tarafından yazılmıştır. DINA model analizleri için maddelerin ölçülen özellikler ile ilişkilendirildiği Q-matrisin hazırlanması gerekmektedir. Bu amaç doğrultusunda maddeleri hazırlayan uzman grubundan bağımsız, alanında doktora düzeyinde eğitim almış beş uzmandan maddeler ile özellikleri ilişkilendirmeleri istenmiş ve hazırlanan Q-matrisler karşılaştırılarak hem fikir olunan 65 madde testin deneme formuna alınmıştır. Ölçme aracının deneme uygulaması 7. ve 8. Sınıflardan oluşan 504 kişilik öğrenci grubuna uygulanmıştır. Elde edilen veriler DINA modele göre analiz edilmiştir. Model veri uyum indeksleri, örtük sınıfların sonsal olasılıkları ve dağılımları ile madde parametreleri incelenmiştir. Deneme uygulaması için maddelere ait g parametrelerinin aritmetik ortalaması 0.42, s parametrelerinin ortalaması 0.30 ve ? parametrelerine ait değerlerinin ortalaması ise 0.28 olarak hesaplanmıştır.DINA modelde elde edilen g, s ve ? parametrelerine göre 25 maddelik testler oluşturulmuş ve mevcut veri üzerinden analiz edilmiştir. Testlerin madde parametreleri ve model veri uyumları karşılaştırıldığında literatürün de desteklediği gibi nihai testin ? parametresi dikkate alınarak oluşturulmasına karar verilmiştir.Nihai test 7. ve 8. sınıflardan oluşan 270 kişilik öğrenci grubuna uygulanmıştır. Elde edilen verilerin analizi sonucunda model veri uyum indekslerine, madde parametrelerine, örtük sınıfların sonsal olasılıklarına ve öğrencilerin dahil oldukları örtük sınıf bilgisine ulaşılmıştır. Nihai teste ilişkin g, s ve ? parametrelerinin ortalaması ise sırasıyla 0.39, 0.26 ve 0.34 olarak hesaplanmıştır. Geliştirilen teste ait psikometrik bilgiler literatürdeki diğer çalışmalarla karşılaştırılmış, testin konu alanı ile uyumunun yüksek olduğu ve parametre değerlerinin yeterli olduğu belirlenmiştir.Anahtar Kelimeler: Bilişsel Tanı Modelleri, DINA Model, Test Geliştirme, Psikometrik Özellik

In this research, test developing process was carried out by means of DINA model as one of the Cognitive Diagnostic Models, and psychometric characteristics of the test were determined. The test developed includes Potential and Kinetic Energy subject area of 7th Grade Science and Technology Course. Since DINA model classifies students according to the attributes they should have to reply the items correctly instead of their total test scores; expert opinions were sought to define the attributes necessary for Potential and Kinetic Energy subject area. Five experts determined for this purpose have specified 4 basic characteristics. Items of 15 latent classes constituted as a result of these attributes were written by an expert group consisting of five teachers of Science and Technology experienced in their field. Preparation of Q-matrix in which items are associated with the attributes measured was necessary for the DINA model analyses. For this purpose, five experts with doctor?s degree in their field and as independent of the expert group preparing the items were asked to associate the items and attributes, and the Q-matrices prepared were compared, and 65 agreeable item were included in the trial practice of the test. Trial practice of the measuring instrument was applied to a student group of 504 persons consisting of 7th and 8th grades. The data obtained were analyzed according to the DINA model. Model-data fit indexes, posterior probabilities and distributions of latent classes as well as the item parameters were examined. For the trial practice, the mean of g parameters of the items was calculated as 0.42, the mean of s parameters as 0.30, and the mean of ? parameters as 0.28. Tests of 25 items were prepared according to the g, s and ? parameters obtained in the DINA model, and they were analyzed according to the available data. Upon comparison of the item parameters and the test-level fit statistics of the tests, it was concluded to perform the final test by considering the ? parameter as supported by the literature.Final test was applied to a group of 270 students from 7th and 8th grades. As a result of the analysis of the data obtained, information was received on the test-level fit statistics, item parameters, posterior probabilities of latent classes, and the latent classes to which the students are included. The mean of g, s and ? parameters of the final test were calculated respectively as 0.39, 0.26 and 0.34. Psychometric characteristics of the developed test was compared with the other studies in the literature, thus it was determined that the compatibility of the test with the subject area is high and that the parameter values are adequate.Key Words: Cognitive Diagnostic Models, DINA Model, Test Development, Psychometric Characteristics