Değişen madde fonksiyonu belirleme yöntemlerinin test parametreleri kestirimlerine, karar çalışmalarına, g ve phi katsayılarına etkisi

Abstract

Bu araştırmada, öğrencilerin cinsiyetlerine, haftalık cep harçlık miktarlarına ve cep harçlık miktarlarının yeterli olup olmama durumlarına göre farklı Değişen Madde Fonksiyonu (DMF) belirleme yöntemleri kullanılarak tespit edilen düşük, orta ve yüksek düzeyde DMF gösteren maddelerin sayısal ve sözel yetenek testlerinden çıkarılmasının, test parametreleri kestirimlerine, karar çalışmalarına ait G ve Phi katsayılarına, DMF'siz teste ait G ve Phi katsayılarına etkisini ortaya çıkarmak amaçlanmıştır. Araştırma bu yönüyle temel araştırma niteliğindedir. Mevcut durumun ortaya konması açısından ise betimsel bir araştırmadır. DMF belirleme yöntemi olarak Klasik Test Kuramı'na (KTK) dayalı Mantel-Haenszel (MH) ve Lojistik Regresyon (LR) Yöntemleri kullanılmış, Madde Tepki Kuramı'na (MTK) dayalı ise SIBTEST, Lord'un Ki-Kare ve Raju'nun Alan Ölçüleri yöntemleri kullanılmıştır. Öğrencilerin genel yeteneklerini ortaya çıkarabilmek için araştırmacı tarafından çoktan seçmeli test maddesi tipinde 45 maddelik sayısal yetenek testi ve 45 maddelik sözel yetenek testi öğrencilere uygulanmış, cevaplar iki kategorili (0 ve 1) olacak şekilde puanlanmıştır. Araştırma verileri Ankara ili Keçiören ve Pursaklar ilçelerinde bulunan 6. sınıf düzeyinde öğrenim gören 2304 öğrenciden toplanmıştır. Verilerin analizi aşamasında testlerin geçerlik, güvenirlik, test parametreleri kestirimleri için TAP programı ve BILOG-MG programı kullanılmıştır. DMF'li maddenin tespit edilmesi için RStudio paket programı kullanılmıştır. RStudio içerisinde SIBTEST için `mirt` paketi yüklenirken diğer DMF belirleme yöntemlerinde `difR` paketi yüklenerek analiz için komutlar yazılmıştır. Genellenebilirlik Kuramına dayalı G ve Phi katsayılarının hesaplanması için EduG 6.1e paket programından yararlanılmıştır. DMF'li maddenin testten çıkarılması ile hesaplanan KTK, MTK ve Genellenebilirlik Kuramlarına dayalı güvenirlik katsayıları ile 45 maddelik teste ilişkin güvenirlik katsayıları arasındaki farklılığın test edilmesinde Feldt istatistiği kullanılmıştır. DMF'li madde çıkarılan testlere ait ortalama güçlük indeksleri ve üst-alt grup madde ayırt edicilik indeksleri ile asıl test indeksleri arasındaki farklılıklarının test edilmesinde Z oran testi kullanılmıştır. DMF'siz testlerin nokta çift serili korelasyonla ayırt edicilik katsayıları ile asıl testin katsayıları arasındaki farklılığın test edilmesinde Fisher Z istatistiği kullanılmıştır. Araştırmanın sonucunda farklı DMF belirleme yöntemleri kullanılarak düşük düzeyde DMF gösteren maddelerin testten çıkarılması sonucu elde edilen test ile başlangıç testine ait test parametreleri kestirimlerinde, karar çalışmalarına ait G ve Phi katsayılarında ve DMF'siz teste ait G ve Phi katsayılarında anlamlı farklılık yaratacak düzeyde bir değişimin olmadığı belirlenmiştir. Fakat orta ve yüksek düzeyde DMF gösteren maddelerin testten çıkarılması sonucunda bazı test parametrelerinde, bazı güvenirlik katsayılarında, karar çalışmalarına ait G ve Phi katsayılarında ve DMF'siz teste ait G ve Phi katsayılarında anlamlı farklılık yaratacak düzeyde bir değişimin olduğu tespit edilmiştir. Sayısal ve sözel yetenek testinde MTK'ya dayalı yöntemlerin DMF'li maddelerin tespitinde benzerlik gösterdikleri saptanmıştır. Bununla birlikte DMF özelliği gösteren maddelerin belirlenmesinde KTK ve MTK'ya dayalı yöntemler arasında farklılık olduğu, MTK'ya dayalı yöntemlerde daha fazla DMF'li madde kestirimi gerçekleştirildiği belirlenmiştir. Bu bilgiler ve araştırma sonuçları orta ve yüksek düzeyde DMF gösteren maddelerin, yanlılık çalışmalarıyla desteklenerek testten çıkarılması gerektiğinin bir göstergesidir. Bu bağlamda bir teste ait geçerlik ve güvenirlik gibi psikometrik özellikleri olumlu yönde artırabilmek için testin orta ve yüksek düzeyde DMF gösteren maddelerden arındırılması gerektiği söylenebilir. Araştırma sonuçlarına bağlı olarak özellikle karar almak için uygulanan testlerin geçerlik ve güvenirlik belirleme sürecinde DMF analizlerinin yapılması önerilmektedir.

In this research, it is aimed to reveal the effects of eliminating the items with low, medium and high DIF from the verbal and quantitative ability tests determined through different Differential Item Functioning methods according to students' gender, the amount of their weekly pocket money and whether the amount of their weekly pocket money is enough on test parameters estimates, G and Phi coefficients that belong to decision studies and G and Phi coefficients that belong to the test without DIF. This research is a descriptive research in terms of presenting the current situation while being in the nature of basic research. As DIF determination methods, Mantel-Haenszel (MH) and Logistics Regression (LR) methods based on Classical Test Theory (CTT) as well as SIBTEST, Lord's Chi-Square and Raju's Area Measurements methods based on Item Response Theory (IRF) were used. The 45-item quantitative ability multiple choice test and the 45-item verbal ability multiple choice test were applied by the researchers to the students in order to reveal the general abilities of the students and the results were scored as binary (0 and 1). The research data were collected from 2304 students at 6th grade level in the provinces of Keçiören and Pursaklar, Ankara. In the analysis phase of the data, the TAP program and the BILOG-MG program were used for the validity, reliability and test parameters estimates of the tests. The RStudio package program was used to identify the items with DIF. While `mirt` package was loaded for SIBTEST in RStudio, `difR` package was loaded in other DIF determination methods and instructions were written for analysis. The EduG 6.1e package program was used to calculate G and Phi coefficients based on the Generalizability Theory. The Feldt statistical technique was used to compare the reliability coefficients based on the CTT, IRT and Generalizability Theories calculated by removing the items with DIF from the test and the reliability coefficients for the 45-item test. Z ratio test was used to test the differences between the mean difficulty indexes and upper and lower groups item discrimination indexes of the test without DIF and the related indexes of the initial test. Fisher Z statistics were used to test the difference between the discrimination coefficients obtained from point biserial correlation in the test without DIF and the coefficients from the initial test. As a result of the study, it was determined that there was no significant difference between the test formed by subtracting the items with DIF determined by using different DIF detection methods and the initial test parameters estimates in terms of G and Phi coefficients that belong to decision studies and to the test without DIF. However, as a result of subtracting the items with medium and high DIF from the test, it was determined that some test parameters, some reliability coefficients, G and Phi coefficients of decision studies, and the G and Phi coefficients that belong to the test without DIF significantly changed. In the quantitative and verbal ability tests, the methods based on IRT were found to be similar in the detection of items with DIF. However, it was determined that there are differences between the methods based on CTT and IRT in determining the items with DIF, and that more items with DIF were estimated with the methods based IRT. These research results are an indication of the need to remove the items with medium and high DIF from the test by supporting with the bias studies. In this context, it can be said that in order to increase the psychometric properties such as validity and reliability of a test positively, the test should be purified from the items with medium and high DIF. Depending on the results of the research, it is recommended to perform DIF analyzes in the process of determining the validity and reliability of the tests, especially those applied for decision making.