Differential item functioning (DIF) analysis of the verbal ability section of first stage of the university entrance examination in Turkey

Abstract

oz ÜNİVERSİTE GİRİŞ SINAVI BİRİNCİ BASAMA?ININ SÖZEL YETENEK BÖLÜMÜNDEKİ MADDELERİN MADDE YANLILI?I ANALİZİ Ö?RETMEN, TUNCAY Yüksek Lisans Tezi, Eğitim Bilimleri Anabilim Dalı Tez Yöneticisi: Doç. Dr. Giray Berberoğlu Mart, 1995, 97 sayfa Bu çalışmanın amacı Türkiye'deki üniversite giriş sınavının birinci basamağının Sözel Yetenek bölümündeki maddelerin madde yanlılığı analizini Madde Tepki Kuramı çerçevesinde dört farklı alan indeksini kullanarak yapmaktır. Elde edilen alan indekslerinin büyüklükleri Türkçe ve Sosyal Bilimler testlerindeki maddelerin konu alanları ve taksonomic seviyelerine göre karşılaştırılmaktadır. Bu karşılaştırmalar cinsiyet gruplarına göre yapılmaktadır. Bu analizlerde 1993 yılı Öğrenci Seçme Sınavının verileri kullanılmaktadır. Bu veriler Ankara' daki dört devlet lisesinin 1474 kız ve 1326 erkek öğrencileri olmak üzere toplam 2800 öğrencisinin Öğrenci Seçme Sınavındaki maddelere verdikleri cevaplardan oluşmaktadır. Madde yanlılığı analizi aşağıdaki basamakları içermektedir: a. Madde karakteristik eğrileri için bir Madde Tepki Kuramı modelinin seçilmesi, b. Model-veri uygunluğu istatistiklerinin seçilen madde tepki kuramı modeline göre yapılması, c. Madde karakteristik eğrilerinin her bir cinsiyet grubu için yeniden ölçeklenmesi ve standart hale getirilmesi,

ABSTRACT DIFFERENTIAL ITEM FUNCTIONING (DIF) ANALYSIS OF THE VERBAL ABILITY SECTION OF THE FIRST STAGE OF THE UNIVERSITY ENTRANCE EXAMINATION IN TURKEY Ö?RETMEN, TUNCAY M. S in Educational Sciences Supervisor: Assoc. Prof. Dr. Giray Berberoğlu March, 1995, 97 pages The purpose of the present study is to carry out differential item functioning (DIF) analysis for the Verbal Ability section of the first stage of the University Entrance Examination (UEE) in Turkey by the use of four area indices within the framework of Item Response Theory (IRT). The differences in the magnitudes of the area indices have been compared with respect to the subject areas and the taxonomy of educational objectives in the Turkish and the Social Sciences subtests. The DIF analysis have been carried out across the gender groups only. t The data were gathered from the 1993 Student Selection Test (SST). A total number of 2800 students (1474 female, 1326 male) were selected from the four state high schools in the Ankara province. For the DIF analysis, (a) an ERT model for the item characteristic curves were specified; (b) model-data-fit were investigated for the selected IRT model; (c) Item Characteristic Curves were separately computed for the each group on a mcommon scale; finally (d) indices were computed indicating the degree of DIF on each item. Item characteristic curves were obtained across the gender groups by using the BILOG package program. The results of the study indicated that unweighted area indices pointed out nonuniform DIF in the item characteristic curves in most of the cases in the Turkish and the Social Sciences subtests. DIF was observed in the Turkish subtest with respect to unweighted and weighted indices, but in the Social Sciences subtest DIF was observed with respect to only unweighted indices. Although subject area comparison of the subtest indicated DIF across the gender gruops, the total effect of DIF diminished in both subtest. A significant correlation was observed between unweighted and weighted area indices in the DIF analysis. Keywords: Item Characteristic Curve, Item Bias, Differential Item Functioning (DBF). Science Code: 222.03.01 IV