Differantial item functioning analysis of the quantitative ability section of the first stage of the university entrance examination in Turkey

Abstract

öz Ö?RENCİ SEÇME SINAVI SAYISAL TESTİ' NİN MADDE YANLILI?I ANALİZİ YENAL, Ebru Yüksek Lisans Tezi, Eğitim Bilimleri Anabilim Dalı Tez Yöneticisi: Doç.Dr. Giray Berberoğlu Mart 1995, 68 sayfa. Bu çalışmada Madde Tepki Kuramına göre elde edilen dört alan indeksiyle 1993 Öğrenci Seçme Sınavı Sayısal Testi'nin cinsiyete göre madde yanlılığı incelenmiştir. Alan indeksleri şunlardır: İşaretli alan, işaretsiz alan ağırlıklandınlmış işaretli alan ağırlıklandınlmış işaretsiz alan indeksleri. Elde edilen alan indeksleri farklı soru gruplarına göre karşılaştınlmıştır. Ayrıca, alan indeksleri kendi aralarında da karşılaştinlmıştır. Bu çalışmanın denekleri Ankara'daki beş özel ve devlet okulundanki 1993 ÖSS'ye giren öğrencilerdir. Ön analiz olarak betimsel istatistik (ortalama, standart sapma, basıklık, çarpıklık), faktör analizi, güvenirlik analizi ve model- veri uygunluğu yapılmıştır. Madde Tepki Kuramı'ının dört alan indeksi Oort (1992) tarafından geliştirilen bilgisayar programı ile hesaplanmıştır. Farklı soru gruplarına göre elde edilen indeksler Kruskal Wallis testi ile, alan indekslerinin kendi aralarındaki karşılaştırmaları da korelasyon katsayıları ile incelenmiştir. Madde Yanlılığı Analizi, işaretli ve işaretsiz alan indekslerinin Madde Karakteristik Eğrilerinde düzgün olmayan bir yanlılık gösterdiğini ortaya çıkartmıştır. Konu alanlarının karşılaştırılması sonucunda geometri maddelerinin Matematik testinindiğer konu alanlarındaki maddelere göre daha fazla yanlılık gösterdiği ve bu yanlılığın erkekler aleyhine olduğu gözlenmiştir. Fen Bilgisi testinde ise yanlılık en fazla biyoloji maddelerinde ve erkeklerin aleyhinde olmuştur. Ayrıca, yapılan analizler Fen Bilgisi testinin Matematik testinden daha fazla yanlılık taşıdığını göstermiştir. Matematik ve Fen Bilgisi testlerini alan indeksleri kendi aralarında karşılaştırıldığında, işaretli alan indeksleriyle ağırlıklandınlmış işaretli alan indeksleri arasında anlamlı ilişki olduğu gözlenmiştir. Buna ek olarak Matematik testinde ağırlıklandınlmış işaretli alan indeksi ile ağırlıklandınlmış işaretsiz alan indeksi arasında, işaretli alan indeksi ile işaretsiz alan indeksi arasında anlamlı ilişki olduğu gözlenmiştir. Matematik ve Fen Bilgisi testlerinde konu alanlarına göre yanlılık olmasına rağmen testlerin tamamına bakıldığında bu yanlılık kaybolmaktadır. Anahtar Kelimeler: Madde Yanlılığı Analizi, Madde Tepki Kuramı, Alan İndeksleri, Üniversite Giriş Sınavı, Öğrenci Seçme Sınavı, Sayısal Yetenek. Biüm Kodu: 222.03.01 VI

ABSTRACT DIFFERENTIAL ITEM FUNCTIONING ANALYSIS OF THE QUANTITATIVE ABILITY SECTION OF THE FIRST STAGE OF THE UNIVERSITY ENRANCE EXAMINATION IN TURKEY YENAL, Ebru M. S. in Educational Sciences Supervisor: Assoc.Prof.Dr. Giray Berberoğlu March, 1995, 68 pages. This study dealt with the determination of the differentially functioning test items across gender groups in the Quantitative Ability section of the first stage of University Entrance Examination (UEE) by the use of four area indices of Item Response Theory (TRT). They are called signed area (SA), unsigned area (USA), weighted signed area (WSA) and weighted unsigned area (WUSA). The differences in the magnitudes of the area indices have been compared to the subject areas. The area indices used in this study have also been compared with each other. The sample of the present study included five public and private schools from Ankara district. The differential item functioning (DIF) analysis was carried out in the Quantitative Ability Section of the first stage of the UEE of 1993 in Turkey. The preliminary analysis of the data were descriptive statistics (means, standart deviations, kurtosis and skewness), factor analysis, reHability analysis and model-data fit statistics. The DIF analysis across gender groups in the Quantitative Ability Section of the UEE was determined by the use of four area indices of IRT. The four area indices uihave been calculated using a computer package program developed by Oort (1992). The magnitudes of area indices with respect to subject areas have been evaluated by using the Kruskal Wallis test. The area indices have been compared among them selves by correlation coefficients. DEF analysis of the data showed that SA and USA indices pointed out nonuniform DIF in the ICCs in most of the the cases. In subject area comparisons, geometry items indicated the larger area indices in SA, WSA, WUSA in the Mathematics subtest, and these geometry items indicated DIF against males. The subject area comparisons of the Natural Sciences subtest showed that biology items indicated larger area indices in SA, USA and WSA, and these biology items indicated DIF against males. Also, the Mathematics and the Natural Sciences subtest were compared. The result showed that the Natural Sciences subtest indicated larger area indices in the SA, USA and WUSA. Comparisons among different area indices indicated that significant correlations were observed between the WSA and SA indices in the Mathematics and in the Natural Sciences subtests. In addition to that, significant correlations were observed between the WSA and WUSA, and between S A and USA indices in the Mathematics subtest. Although subject areas showed DIF, the total effect of DIF diminished in the Natural Sciences subtests with respect to SA and WSA indices. Total effect of the DIF diminished in the Mathematics subtest with respect to SA index, but the test showed the DIF against males with respect to WSA index. Keywords: Differential Item Functioning, Item Response Theory, Area Indices, University Entrance Examination, Student Selection Test, Quantitative Ability. Science Code: 222.03.01 IV