Testlerin boyutluluğunun, ortak madde formatının, yetenek dağılımının ve ölçek dönüştürme yöntemlerinin karma testlerin eşitlenmesine etkisi

Abstract

Bu araştırma kapsamında boyutluluğun, ortak madde seti formatının, grupların yetenek dağılımının ve farklı ölçek dönüştürme yöntemlerinin karma testlerin eşitlenmesinde eşitlik özelliğinin korunumu üzerine etkisi incelenmiştir. Araştırma, eşdeğer olmayan gruplar ortak test deseni altında Madde Tepki Kuramı gerçek puan eşitleme (GR_PE) ve gözlenen puan eşitleme (GZ_PE) yöntemleri kullanılarak yürütülmüştür. Eşitlik özelliği, birinci-sıra eşitlik (BSE) ve ikinci-sıra eşitlik özelliği (İSE) ölçütlerine göre D1 ve D2 indeksleri hesaplanarak değerlendirilmiştir. Araştırma, simülasyon verileri kullanılarak yürütülmüştür. Çalışma kapsamında, verilerinin türetilmesinde SimuMIRT, madde parametrelerinin kestiriminde PARSCALE 4.1, ölçek dönüştürme işleminde STUIRT, test puanlarının eşitlenmesinde POLYEQUATE, D1 ve D2 indekslerini hesaplamak için gerekli olan koşullu ortalama ve ölçmenin standart hatasını elde etmek için POLYCSEM programı kullanılmıştır. Araştırma kapsamında incelenen faktörlerin GR_PE ve GZ_PE sonuçlarının BSE ve İSE özelliğinin korunumuna etkisi 64 farklı koşul (4x2x2x4) için 100 tekrar sonucu elde edilen D1 ve D2 indekslerinin ortalaması alınarak değerlendirilmiştir. Ayrıca tüm faktörlerin BSE ve İSE özelliklerinin korunumu ölçütüne göre eşitleme sonuçları üzerinde istatistiksel olarak manidar etkiye sahip olup olmadığı SPSS 20 programında 4-yönlü ANOVA yapılarak incelenmiştir. Araştırmanın sonucunda BSE özelliği ölçütüne göre tüm faktörlerin, İSE özelliği ölçütüne göre ise ortak madde seti formatı dışında kalan tüm faktörlerin GR_PE ve GZ_PE sonuçları üzerinde istatistiksel olarak anlamlı etkisinin olduğu görülmüştür. Araştırmadan elde edilen bulgular şöyle özetlenebilir (1) BSE ve İSE eşitlik özellikleri en iyi tek boyutlu en kötü ise çok boyutluluğun derecesinin en yüksek olduğu koşul altında korunmuştur. (2) Karma ortak madde seti kullanılarak elde edilen GR_PE ve GZ_PE sonuçları BSE özelliğini çoktan seçmeli madde seti kullanılan koşullara göre daha iyi korumuştur. (3) Grupların eşdeğer olduğu koşullar altında elde edilen eşitleme sonuçları eşdeğer olmadığı koşullarla karşılaştırıldığında her iki eşitlik özelliğini daha iyi korumuştur. (4) Tek boyutluluğun sağlandığı koşullarda her ne kadar moment ölçek dönüştürme yöntemleri BSE ve İSE özelliklerini korumada karakteristik eğri yöntemlerine yakın performans göstermiş olsa da özellikle çok boyutluluğun derecesinin arttığı koşullarda karakteristik eğri ölçek dönüştürme yöntemleri her iki eşitlik özelliğini korumada üstün performans göstermiştir.

The purpose of this study was to examine the impact of test dimensionality (unidimensional versus multidimensional), characteristics of common-item set (format representative versus non-representative), differences in group ability distributions (equivalent versus nonequivalent), and different scale transformation methods on preserving equity property with mixed-format test equating. The study was conducted by using item response theory (IRT) true score equating (TSE) and IRT observed score equating (OSE) methods under non-equivalent groups anchor test design. The equity property was evaluated based on first-order equity (FOE) and second-order equity (SOE) by calculating D1 and D2 indexes. Simulated data was used in this study. The computer program SimuMIRT was used for data generation, PARSCALE 4.1 was used to estimate the parameters, STUIRT was used to do scale transformation, POLYEQUATE was used to equate test scores and lastly POLYCSEM was used to provide conditional means and standard errors of measurement which were necessary for calculating D1 and D2 indexes. The impact of factors on IRT true score and observed score equating results in terms of preserving FOE and SOE properties were evaluated by taking average of D1 and D2 indexes over 100 replications for the 64 different conditions (4x2x2x4). Also, 4-way ANOVA was performed to determine if the investigated factors had significant effects on equating results with regarding to FOE and SOE properties. ANOVA was conducted by using computer program SPSS 20. The results showed that in terms of FOE property criteria, all investigated factors had significant effect on TSE and OSE results. Similarly, based on SOE property except for common-item characteristics all factors had significant effect on both TSE and OSE results. The major findings can be summarized as follows: (1) The FOE and SOE properties best preserved under unidimensional condition, worst preserved when the degree of multidimensionality was severe. (2) The true score and observed score equating results which were provided by using mixed-format common item set, preserved FOE better compared to equating results which were provided only multiple-choice common item set. (3) The equivalent groups condition outperformed the nonequivalent group condition on preserving both equity properties. (4) Under unidimensional test structure, moment scale transformation methods performed as well as characteristic curve methods. However, under multidimensional test structure characteristic curve scale transformation methods performed significantly superior than moment scale transformatıon methods in terms of preserving FOE and SOE properties.