Fen başarısındaki artışın belirlenmesinde madde tepki kuramına dayalı dikey ölçekleme yöntemlerinin karşılaştırılması

Abstract

Bu araştırmada iki farklı veri seti kullanılarak Madde Tepki Kuramına dayalı dikey ölçekleme çalışması yürütülmüş, farklı kalibrasyon yöntemleri (ayrı ve eş zamanlı kalibrasyon) ve farklı yetenek kestirim yöntemleri (maksimum olabilirlik, beklenen önsel dağılım, maksimum önsel dağılım) kullanarak elde edilen dikey ölçekleme sonuçları karşılaştırılmıştır. Elde edilen dikey ölçekler, bir sınıf düzeyinden diğer sınıf düzeyine olan büyüme (grade-to-grade growth), sınıf düzeyleri arasındaki çeşitlilik (grade-to-grade variability) ve düzey dağılımlarının ayrımı (the separation of grade distributions) kriterlerine göre değerlendirilmiştir. Bir sınıf düzeyinden diğer sınıf düzeyine olan büyümeyi değerlendirebilmek için ortalamalar ve ortalama farkları, sınıf düzeyleri arasındaki çeşitliliği değerlendirebilmek için her sınıf düzeyi için standart sapma değerleri ve düzey dağılımlarının ayrımını değerlendirebilmek için de etki büyüklüğü değerleri incelenmiş ve karşılaştırılmıştır. Altıncı, yedinci ve sekizinci sınıf fen bilgisi başarı testleri 2008-2012 yılları arasında uygulanan SBS, OKS ve PYBS testlerinden seçilerek oluşturulmuştur. Veri toplama araçları Ankara ilinden farklı sosyoekonomik kültüre sahip on iki ilköğretim okulundan toplam 1500 öğrenciye uygulanmış ve gerçek veri seti oluşturulmuştur. Yapay veri seti oluşturulurken alanyazın incelenmiş ve alanyazındaki çalışmalara göre belirlenen madde ve yetenek parametreleri kullanılmıştır. İki farklı veri seti kullanılarak dikey ölçekleme yapılmıştır. Elde edilen bulgular değerlendirme kriterlerine göre karşılaştırılmıştır. Uygulanan fen bilgisi başarı testi verileri ile yapılan eş zamanlı kalibrasyon yöntemi ile hesaplanan ortalamalar incelendiğinde, öğrenci başarısının 6. sınıftan 8. sınıfa doğru arttığı görülmektedir. Her üç sınıf düzeyi için ortalama farkları incelendiğinde, en yüksek ortalama farklarının EAP yöntemi ile elde edildiği görülmektedir. Standart sapma değerleri incelendiğinde, 6. sınıftan 8. sınıfa doğru standart sapma değerlerinin azaldığı ve en düşük standart sapma değerinin ML yöntemi ile elde edildiği görülmektedir. Etki büyüklüğü kriterleri incelendiğinde, etki büyüklüğünün 6. sınıftan 8. sınıfa doğru arttığı ve en yüksek etki büyüklüğü değerlerinin EAP yöntemi ile elde edildiği görülmektedir. Fen bilgisi başarı verileri ile yapılan ayrı kalibrasyon yöntemi ile hesaplanan ortalamalar incelendiğinde, öğrenci başarısının 6. sınıftan 8. sınıfa doğru arttığı, ortalamalar arası farkın ise 8. sınıfa doğru azaldığı görülmektedir. Ayrı kalibrasyonda en yüksek ortalama fark EAP yöntemi ile ölçülmüştür. Ayrı kalibrasyon ile elde edilen ortalama farklarının, eş zamanlı kalibrasyon ile elde edilen ortalama farklarından daha düşük olduğu görülmektedir. Standart sapma değerleri incelendiğinde, genel olarak 6. sınıftan 8. sınıfa doğru standart sapma değerlerinin azaldığı, en düşük standart sapma değerinin ML yöntemi ile elde edildiği ve ayrı kalibrasyon ile elde edilen standart sapma değerlerinin genel olarak eş zamanlı kalibrasyon ile elde edilen değerlere göre daha düşük olduğu görülmektedir. Etki büyüklüğü kriterleri incelendiğinde, etki büyüklüklerinin 8. sınıfa doğru azaldığı, en yüksek etki büyüklüğü değerlerinin ML yöntemi ile elde edildiği ve ayrı kalibrasyon ile elde edilen etki büyüklüğü değerlerinin eş zamanlı kalibrasyon ile elde edilen değerlere göre daha düşük olduğu görülmektedir. Yapay veri seti ile yapılan dikey ölçekleme sonuçlarına göre, eş zamanlı ve ayrı kalibrasyon yönteminin her ikisinde de ortalama farkların 8. sınıf düzeyine göre arttığı ve her iki yöntemde de en yüksek değerlerin EAP yöntemi ile elde edildiği bulunmuştur. Ayrı kalibrasyon ile elde edilen ortalama farkları eş zamanlı kalibrasyon ile elde edilen ortalama farklarına göre daha düşüktür. Standart sapma değerleri karşılaştırıldığında, her iki kalibrasyon yönteminde de en yüksek değerlerin EAP ile elde edildiği ve her iki yöntemle de genel olarak birbirine yakın standart sapma değerleri elde edildiği görülmektedir. Etki büyüklüğü değerleri incelendiğinde her iki kalibrasyon yönteminde de 8. sınıfa doğru etki büyüklüğü değerlerinin arttığı görülmektedir. Ayrı kalibrasyon ile elde edilen etki büyüklüğü değerleri eş zamanlı kalibrasyona göre daha düşüktür. Her üç yetenek kestirim yöntemi birbirine yakın sonuçlar üretmiştir.

In this research, a vertical scaling study based on Item Response Theory was conducted by using two different datasets and vertical scaling results obtained by different calibration methods and different proficiency estimation methods (maximum likelihood, expected prior distribution, maximum prior distribution) are compared. The resulting vertical scales were evaluated according to the criteria of the growth from one grade level to another (grade-to-grade growth), variability between grade levels (grade-to-grade variability) and the separation of grade distributions. Averages and average differences, standard deviation values and effect size values were examined and compared in order to evaluate and compared the growth from one grade level to another, the variability between grade levels and the separation of grade distributions, respectively. Sixth, seventh and eighth grade science education achievement tests were created from questions of SBS, OKS and PYBS exams had applied between 2008-2012. Data collection tools were applied to 1500 students of twelve different primary schools in Ankara consist of different socio-economic culture and real data set was created. The literature was examined while artificial data set was formed and items and proficiency parameters those had determined according to the studies in literature were used. The vertical scaling was performed using two different datasets. The findings were compared according to the evaluation criteria. Averages calculated by application of concurrent calibration method with applied science education achievement test data were analyzed and it was observed that student achievement from sixth to eigth grade were increasing. Average differences for each grade levels were analyzed and it was observed that the highest average differences were obtained by Expected Apriori (EAP) method. Standard deviation values were analyzed and it was observed that standard deviation values were decreasing from sixth to eighth grade and the lowest standard deviation were obtained by Maximum Likelihood (ML) method. Effect size criteria were analyzed and it was observed that effect size were increasing from sixth to eighth grade and the highest effect size values were obtained by EAP method. Averages calculated by application of separate calibration method with applied science education achievement test data were analyzed and it was observed that student achievement from sixth to eigth grade were increasing and differences between averages were decreasing from sixth to eighth grade. The highest difference between averages were measured in the separate calibration method by EAP method. The differences between averages obtained by separate calibration method were lower than the ones obtained by concurrent calibration method. Standard deviation values were analyzed, it was observed that the values were usually decreasing from sixth to eighth grade, the lowest standard deviation value was obtained by ML method and standard deviation values obtained by separate calibration method were lower than the ones obtained by concurrent calibration method. Effect size criteria were analyzed and it was observed that effect size values were decreasing from sixth to eighth grade, the highest effect size value was obtained by ML method and effect size values obtained by separate calibration method were lower than the ones obtained by concurrent calibration method. According to the vertical scaling results applied with artificial dataset, average differences were increasing from sixth to eighth grade in both concurrent and separate calibration methods and the highest values were obtained by EAP method in both calibration methods. Average differences obtained by separate calibration method were lower than the values obtained by concurrent calibration method. Standard deviation values were compared and it was observed that the highest values were obtained by EAP method in both calibration methods and generally, standard deviation values obtained by two calibration methods were close to each other. Effect size criteria were analyzed and it was observed that effect size values were increasing from sixth to eighth grade in both calibration methods. Effect size values obtained by separate calibration method were lower than the values obtained by concurrent calibration method. The results produced by all three proficiency estimation methods were close to each other.