Does the testing method make a difference in measuring reading skills? A Case study

Abstract

ÖZ test yöntemi okuduğunu anlama yetîsînî ölçmede farklılık yaratır mı? örnek vaka çalışması SERTDEMÎR, Yelda Yüksek Lisans Tezi, ingiliz Dili öğretimi Anabil im Dalı Tez Yöneticisi : Doç. Dr. Hüsnü ENGİNARLAR Haziran, 1995, 173 sayfa Bu çalışmanın başlıca amacı kısa cevaplı ve çoktan seçmeli test yöntemleri arasında zorluk düzeyleri açısından farklılık olup olmadığını araştırmak ve bu yöntemlerin geçerlik derecesini saptamaktır. Bunun için, aynı derecede ingilizce bilgi düzeyine sahip iki denek grubu oluşturulmuştur. Aynı zamanda araştırmacı tarafından bir kısa cevaplı ve bir de çoktan seçmeli okuduğunu anlama testi hazırlanmıştır. Aynı metinler üzerine dayalı ve tamamen aynı içeriği ölçen bu testler 54 sorudan oluşmaktadır. öncelikle, testlerin göreceli zorluk düzeylerini saptamak amacıyla deneklerin testlerden almış oldukları notlar birbirleriylekarşılaştırılmıştır. Testlerin göreceli geçerlik düzeylerini saptamak için ise deneklerin testlerden aldıkları notlar ile bir kurum dışı ölçütten - TOEFL sınavının okuduğunu anlama bölümü - ve iki kurumsal ölçütten - sınıf öğretmenlerinin deneklerin okuma anlama yetilerini notlandırmaları ve BUSEL Başarı Testi- aldıkları notlar arasında korelasyon çalışması yapılmıştır. İstatistiksel çözümlemeler Stat-View yazılımı kullanılarak bilgisayarla elde edilmiştir. Bu çalışma kullanılan test yönteminin - kısa cevaplı ve çoktan seçmeli - deneklerin okuduğunu anlama yetisini Ölçmede hem zorluk hem de geçerlik düzeyi açısından önemli rol oynadığı savını desteklemektedir. Bu çalışmadaki bulgular TOEFL Sınavının okuduğunu anlama bölümü ve sınıf öğretmenlerinin deneklerin okuma anlama yetilerini notlandırmaları ölçüt olarak alındığında, çoktan seçmeli test yönteminin okuduğunu anlama yetisini Ölçmede kısa cevaplı test yöntemine göre daha geçerli bir yöntem olduğunu kanıtlamaktadır. Anahtar Sözcükler : Okuma Anlama Yetisini ölçme, Test Yöntemi, Kısa Cevaplı Test, Çoktan Seçmeli Test, Eş Zamanlı Geçerlik, Okuma Anlama Alt Yetilerini ölçme. vı

ABSTRACT DOES THE TESTING METHOD MAKE A DIFFERENCE IN MEASURING READING SKILLS? A CASE STUDY SERTDEMÎR, Yelda M.A in English Language Teaching Supervisor : Assoc. Prof.Dr. Hüsnü ENGİNARLAR June, 1995, 173 pages The primary aim of this study is to examine whether there is any difference between two types of testing methods, namely, short answer and multiple choice, in terms of degree of difficulty and to determine the degree of validity of each testing method in measuring reading comprehension. In order to do this, two groups of subjects at the same level of proficiency were formed. Furthermore, a short answer reading comprehension test and a multiple choice reading comprehension test were constructed by the researcher. Each test consisted of 54 questions testing exactly the same content based on the same passages differing in format only. The scores of the subjects obtained on each 111measure were compared with each other to determine their respective degree of difficulty and correlated with one external measure, the reading section of the TOEFL and two internal measures, the reading section of BUSEL Achievement Exam, and the teacher ratings of the subjects' reading abilities to investigate their concurrent validity. The Stat-view program was used to analyse the scores and compute the necessary statistics. Results from the study provided empirical evidence in favour of the claim that the specific testing method used plays an important role in measuring reading comprehension both in terms of validity and achievement. The findings proved that the multiple choice testing method is a more valid measure of reading comprehension ability than the short answer testing method when teacher ratings and the TOEFL Reading section scores are taken as comparative criteria. Keywords: Testing Reading Comprehension, Testing Method, Short Answer Test, Multiple Choice Test, Concurrent Validity, Testing Reading Sub-skills. IV