Çok değişkenlik kaynaklı Rasch ölçme modeli ve hiyerarşik puanlayıcı modeli ile kestirilen parametrelerin karşılaştırılması

Abstract

Bu araştırmada, açık uçlu maddelere ilişkin, aynı sınananlar tarafından verilen yanıtların, birden fazla puanlayıcı tarafından puanlanması durumunda, çok değişkenlik kaynaklı Rasch ölçme modeli (ÇDKRÖM) ve hiyerarşik puanlayıcı modeli (HPM) ile parametrelerin kestirilmesi ve her iki modele ilişkin parametrelerin birlikte değerlendirilmesi amaçlanmıştır. Temel araştırma modelindeki araştırmanın verileri, 2012-2013 eğitim-öğretim yılı II. döneminde Ankara ili Çankaya ilçesinde yer alan, 10 okulda öğrenim gören, 15 yaş grubu 380 öğrencinin sekiz açık uçlu maddeye verdikleri yanıtlara beş ortaöğretim matematik öğretmeni tarafından atanmış puanlardan oluşmaktadır. Öğrencilerin 30'undan elde edilen yanıtlar, öğretmenlere puan atama sürecinde rehber olması bakımında bütünsel dereceli puanlama anahtarlarının geliştirilmesi aşamasında kullanılmak üzere analiz dışında tutulmuştur. Araştırma kapsamında tamamen çaprazlanmış desen kullanılmış, ÇDKRÖM ve HPM analizlerinin gerçekleştirilebilmesi için OpenBUGS ve FACET programlarından faydalanılmıştır. Araştırma sonucunda, ÇDKRÖM ve HPM öğrenci, puanlayıcı ve madde değişkenlik kaynaklarına ait parametre sonuçlarının genel olarak benzer olduğu saptanmıştır. Değişkenlik kaynakları arasında en yüksek ilişkinin puanlayıcı katılık/cömertlik parametrelerinde görüldüğü ve her iki model için elde edilen, puanlayıcı katılık/cömertlik sıralamalarının aynı olduğu tespit edilmiştir.Madde değişkenlik kaynağı için korelasyon katsayısının yüksek düzeyde ilişkiye işaret ettiği belirlenmiş ve değerleri birbirine yakın olmakla birlikte iki madde dışında sıralamanın benzer olduğu; öğrenci değişkenlik kaynağına göre de yüksek düzeyde ilişkinin görüldüğü sonuçları elde edilmiştir. Her iki modele ait sapma bilgi kriteri değerlerine göre; HPM'nin ÇDKRÖM'e göre araştırma verilerine daha iyi uyum sağladığı, tek bir maddenin tek bir yanıtına ilişkin atanan çoklu puanlara ait bir yapının HPM'yle daha iyi yansıtıldığı sonucuna ulaşılmıştır.

This study aims at estimating the parameters with many facet Rasch measurement model (MFRMM) and hierarchical rater model (HRM) and evaluating together the parameters obtained from both models if responses given by the same examinees for open-ended items are scored by multiple raters.The study was designed with basic research. In the scope of collecting study data, the scores assigned by five secondary school mathematics teachers for responses to eight open-ended items by 380 students, aged 15, from 10 schools in Çankaya District of Ankara province were used during the 2nd semester of the 2012-2013 academic year. Responses obtained from 30 points were excluded from the analysis to be used in development of the holistic scoring rubrics in order to guide teachers during the score assignment process. In this research, fully crossed design was used and OpenBUGS and FACET programs were utilized for realization of the MFRMM and HRM analyses.The study revealed that parameters of MFRMM and HRM examinee, rater and item variability sources were similar in general. The highest relationship between sources of variability was found in rater severity/leniency parameters; also the order of rater severity/leniency obtained for both models was found to be thesame. For sources of item variability, it was determined that the correlation coefficient indicated a high level of relationship. Though values are close, the order was found similar except for two items and a high level of relationship was seen by source of student variability. According to the deviation in formation criteria for both models; it was concluded that HRM provides better fit the data than MFRMM and the structure of assigned multiple scores regarding one single response to one single item is reflected beter by the HRM.