Bireyselleştirilmiş çok aşamalı testlerin test birleştirme yöntemlerine göre incelenmesi

Abstract

Bu araştırmada, bireyselleştirilmiş çok aşamalı testlerde (BÇAT) örneklem büyüklüğü, panel deseni ve modül uzunluğuna göre yukarıdan-aşağıya ve aşağıdan-yukarıya test birleştirme yöntemleri karşılaştırılmıştır. Her iki test birleştirme yöntemine göre oluşturulan BÇAT'lar sınıflandırma testi açısından da değerlendirilmiştir. Araştırma kapsamında PISA 2015 yılı uygulamasına ait veriler kullanılmış, bu verilerden kestirilen parametrelere göre simülasyon çalışması yapılmıştır. Madde havuzunu, 2015 yılında uygulanan PISA verilerinden elde edilen iki kategorili veri seti oluşturmuştur. Araştırma değişkenlerinden modül uzunluğu değişkeni 6 ve 12, panel deseni değişkeni `1-2`, `1-2-2` ve `1-2-3`, örneklem büyüklüğü değişkeni 250 ve 2000 olarak belirlenmiştir. Analiz sonuçları ortalama hata, yanlılık ve sınıflandırma doğruluğu değerleri açısından karşılaştırılmıştır. Araştırmanın yukarıdan-aşağıya test birleştirme yöntemine göre oluşturulan BÇAT simülasyonundan elde edilen sonuçlarına göre küçük ve büyük örnekleme uygulanan BÇAT'ın modül uzunluğu arttığında ve panel deseni `1-2`den `1-2-2` ve `1-2-3`e doğru geçtiğinde ortalama hata değerleri düşmüştür. Örneklem büyüklüğünün artması, `1-2` ve `1-2-2` panel desenlerinin kısa ve orta modül uzunluğunda ortalama hata değerlerinde bir miktar düşüş oluşturmuştur. Modül uzunluğunun artması her iki örneklem türünde panel desenlerinin yanlılığını azaltmıştır. Panel deseninin `1-2`den `1-2-2` ve `1-2-3`e doğru geçişi her iki örneklem büyüklüğü ve modül uzunluğunda ortalama yanlılık değerlerini düşürmüştür. Örneklem büyüklüğünün artması aynı şekilde tüm koşullar için yanlılığı küçük bir miktar azaltmıştır. BÇAT'ı yanıtlayan bireylerin %70, %50 ve %30 geçme oranlarında yüksek sınıflandırma oranları ve Kappa uyum katsayıları hesaplanmıştır. Araştırmanın aşağıdan-yukarıya test birleştirme yöntemine göre oluşturulan BÇAT simülasyonundan elde edilen sonuçlarına göre küçük ve büyük örnekleme uygulanan BÇAT'larda modül uzunluğu ve panel deseni arttıkça ortalama hata değeri azalmıştır. Örneklem büyüklüğünün ve modül uzunluğunun artması küçük ve büyük örnekleme uygulanan `1-2`, `1-2-2` ve `1-2-3` panel desenlerinin yanlılığını azaltmıştır. Her iki örnekleme uygulanan kısa ve orta uzunlukta modülün olduğu `1-2`, `1-2-2` ve `1-2-3` panel desenlerinden oluşan BÇAT'ların; %70, %50 ve %30 geçme oranlarında oldukça yüksek düzeyde bireyleri doğru sınıflandırdığı sonucuna ulaşılmıştır.

In this research, the performance of top-down and bottom-up test assembly methods were compared according to the sample size, panel design and module length of the Adaptive Multistage Tests (MST). MSTs formed according to the both test assembly methods were also evaluated in terms of the classification test. Within the context of the research, data for PISA 2015 were utilized and a simulation study was conducted according to the parameters predicted based on these data. Item parameters calibrated according to the 2 PL model from the two-category data set obtained the PISA data applied in the year 2015 comprised the item pool of the research. Of the research variables, module length variables 6 and 12, panel design variable `1-2`, `1-2-2` and `1-2-3`, and the sample size variables 250 and 2000 were determined in the study. Analysis results for each condition were compared in terms of mean error, bias and classification accuracy. According to the results obtained from the MST simulation formed based on top-down test assembly method, it was determined that the mean error value decreased when the module length of MST applied to the small and large samples increased. The mean error values decreased in case of the transition from `1-2` panel design to panel design `1-2-2` and `1-2-3` took place. The increase in the sample size lead to a certain amount of decrease in the mean error values of `1-2` and `1-2-2` panel design in short and moderate module lengths. The increase in the module length lowered the bias values of the panel design in both sample types. The transition of panel design from `1-2` to `1-2-2` and `1-2-3` decreased the mean bias values in both sample sizes and module lengths. The increase in sample size also reduced the bias slightly for all conditions. Individuals who filled the MST were compared with the passing ratios 70%, 50% and 30% respectively and the high classification ratios and Cohen's Kappa coefficient of agreement. According to the results obtained from the MST simulation constructed according to bottom-up test assembly method, the mean error value decreased as the module length and panel design in MSTs applied to small and large samples increased. The increase in the sample size lead to a decrease in the mean error values of `1-2` panel design in short and moderate module lengths, `1-2-2` panel design in short module length and `1-2-3` panel design in moderate module length. The increase in sample size and module length decreased the bias values of panel design `1-2`, `1-2-2` and `1-2-3` applied to the small and large samples. It was found that MSTs consisting of panel design `1-2`, `1-2-2` and `1-2-3` that contain short and moderate length modules applied to both samples classified the individuals at a high rate at 70%, 50% and 30% passing ratios.