An Investigation of the construct validity of standardized multiple-choice reading tests - a case study

Abstract

IV ÖZET ÇOKTAN SEÇMELİ STANDART OKUMA TESTLERİNİN GEÇERLİLİĞİNİN ARAŞTIRILMASI (ÖRNEK VAKA ÇALIŞMASI ) ŞEN, Nazlı Halenur Yüksek Lisans Tezi, İngiliz Dili Eğitimi Tez Yöneticisi: Yrd. Doç. Dr. Berrin UÇKUN Nisan, 2002, 124 sayfa Bu tez çoktan seçmeli okuma sınavlarının geçerliliğini, bu testlerin temellerindeki teoriyi destekleyip desteklemediğim ve ölçmesi beklenen beceriyi ölçüp ölçmediğini araştırmayı amaçlamaktadır. Bu amaçla Gaziantep'teki iki Anadolu Lisesi'nden toplam 54 öğrenci seçilmiştir. Bu çalışmaya katılan öğrenciler 2000-2001 öğretim yılında 10. sınıf (lise 2) dil ağırlıklı derslere devam etmekteydiler. Veriler bir çoktan seçmeli ve bir açık uçlu okuma sınavı ve her sınavdan sonra yapılan anket uygulaması yoluyla toplanmıştır. Her test, daha önce işlenmemiş 500 kelimelik anlatım tarzındaki bir okuma parçasına dayalı 8 sorudan oluşmaktayı ve öğrencilerin ders kitaplarının eki olan yardımcı bir kitaptan alındığı için bu çalışmaya katılan öğrencilerin seviyesine uygundur. Çoktanseçmeli ve açık uçlu sınavlar bir aylık arayla verilmiştir. Bu sürenin nedeni uzun dönemli hafızanın etkisini ortadan kaldırmaktı. Her test uygulamasından sonra verilen anketler, çoktan seçmeli test için 9 soru, açık uçlu sınav için 10 soru içermekteydi. Bu anketlerin amacı, öğrencilerin test ve testteki sorular hakkındaki ve sınavı nasıl yaptıkları konusundaki fikirlerini almaktı. İkinci anket denekleren iki test türünü kıyaslamalarını isteyen ek sorular içermekteydi. Öğrencilerin puanlan teste verdikleri cevaplardan elde edilmiştir. Başarısı yüksek olan ve düşük olan öğrencilerin puanlan değerlendirilmiş ve soru analizinde kullanılarak her bir testin zorluk seviyesi ve ayırıcılık gücü hesaplanmış ve istatistiki bir program (SPSS) kullanılarak eşleştirilmiş t-sınaması uygulanmıştır. Öğrencilerin anketlere verdikleri cevaplar niteliksel olarak değerlendirilmiştir. İki testin güvenilirliği de SPSS programındaki Alpha ölçeği kullanılarak hesaplanmıştır. Güvenilirlik analizi sonucunda, çoktan seçmeli sınavın (.89 Alpha değerine sahip olarak ) Alpha değeri.39 olan açık uçlu sınavdan daha güvenilir olduğu görülmüştür. Çalışmanın bulgulan bu testte kullanılan iki test türü arasında zorluk bakımından istatistiksel olarak anlamlı bir fark olmadığını göstermiştir. Fakat öğrencilerin ortalamaları hesaba katıldığında, öğrencilerin çoktan seçmeli sınavda daha başarılı oldukları görülmüştür (toplam 8 soruda çoktan seçmeli sınavda 4.6; açık uçlu sınavda 3.6). Aynı zamanda deneklerin bu iki test türünü cevaplama tarzlarında çok büyük farklılıklar olmadığı görülmüştür. Ancak, çoktan seçmeli sınavda öğrenciler çeldiricilerinden dolayı zor buldukları sorulan cevaplarken çoğunlukla `eleme`, `seçenekteki kelimeleri parçayla eşleştirme` ve 'Halimin` gibi stratejiler kullanmışlardır. Bu çalışmanın bir başka bulgusu da çoktan seçmeli testteki seçeneklerin öğrencilerin doğru cevabı bulmasına hem yardımcı, hem de engel olduğunu göstermiştir. Aynı zamanda, öğrencilerin çoktan seçmeli sınavdaki bütün soruları cevaplamayaVI çalıştıkları, fakat açık uçlu sınavda emin olmadıkları sorulan cevaplamadıkları farkedilmiştir (Açık uçlu sınavda cevaplanmayan soru sayısı 37 iken, bu sayı çoktan seçmeli sınavda sadece 2 idi). Bu sonuç `tahmin`in çoktan seçmeli sınavlarda faydalı bir strateji olduğu düşüncesini destekler gibi görünmektedir. Bu çalışmanın sonucunda, çoktan seçmeli okuma sınavlarının ölçmek istedikleri becerileri ölçtükleri söylenebilir. Ancak, zayıf çeldiriciler sorulan aşın kolaylaştırarak; dolayısıyla soruların ayırıcılık gücünü azaltarak ve başarısı düşük olan öğrencilere okuma parçasının tamamım anlamasalar bile sadece bazı stratejiler kullanarak doğru cevabı bulma şansım vererek bu testlerin geçerliliğini azaltabilirler. Zayıf çeldiricilerin yanısıra, çok güçlü çeldiriciler de içerdikleri kelime ve cümle yapısındaki zorluklardan dolayı öğrencilerin soruyu anlamalarını engellemeleri ve öğrenciler okuma parçasını anlasalar bile bu tür dil zorluklarının doğru cevabı bulmalarına gereksiz bir engel teşkil edebilmeleri açısından, çoktan seçmeli sınavların geçerliliği üzerinde olumsuz bir etki yaratabilirler. Yani öğrenciler çoktan seçmeli sınavlarda okuduğunu anlamaktaki zorlukların yanısıra, seçeneklerdeki zorluklarla da uğraşmak zorunda kalmaktadırlar ve bu da bu testlerin geçerliliğini azaltmaktadır. Bu nedenle çoktan seçmeli sınavları hazırlarken seçeneklerin oluşturulmasının soruların zorluğu üzerinde ve dolayısıyla testin geçerliliği üzerinde önemli bir etkisi olduğu unutulmamalıdır. Bilim kodu :ELT599

ABSTRACT AN INVESTIGATION OF THE CONSTRUCT VALIDITY OF STANDARDIZED MULTIPLE-CHOICE READING TESTS (A Case Study) ŞEN,NazhHalenur MA in English Language Teaching Supervisor: Assist. Prof. Dr. Berrin UÇKUN April, 2002, 124 pages This thesis aims at investigating the construct validity of multiple choice reading tests; whether these types of tests support the theory behind them and measure the ability that they aim to measure and very little else. With this purpose, 54 students from two Anatolian High Schools in Gaziantep were chosen. The students who participated in this study were attending the language-oriented classes of tenth grade in the academic year 2000-2001. The data were collected through the application of a multiple-choice (M.C.) and an open-ended (O.E.) reading comprehension test followed by questionnaires given after each test. Each test consisted of eight questions based on an unseen passage, which was an expository text of 500 words and appropriate for the level of the students who participated in the study because it was taken from a11 supplementary book accompanying the students' main course book. The multiple-choice and the open-ended tests were given at one month's interval. The reason for this time was to erase the effect of long term memory. The questionnaires given after each test administration consisted of nine questions for the multiple-choice test, and ten questions for the open-ended test. The questionnaires' aim was to elicit students' ideas about the tests, items in the tests and how they took the tests. The second questionnaire included additional questions which asked the subjects to compare the two test types. Students' scores were obtained from their answers to the tests. The scores of the high performers and the low performers were evaluated and used for the item analysis and the difficulty level and discriminative power of each test was calculated and paired t- tests were conducted using a statistical program (SPSS 9.05). The subjects' answers to the questionnaires were evaluated qualitatively. Reliability of the two tests was also computed by Alpha scale in SPSS. As a result of the reliability analysis, M.C. test was found to be more reliable (having.89 Alpha value) than the O.E. test, which had a.39 Alpha value. The findings of the study indicated that there was not a statistically significant difference in the difficulty of the two test types used in this study. However, when the mean scores of the students were taken into account, the students were found to be more successful in the M.C. test (4.6 in M.C. test; 3.6 in O.E. test for a total of 8 questions). It was also found that there were not great differences in the subjects' manner of taking the two test types. However, in the multiple-choice test, they mostly used some test-taking strategies such as `elimination`, `matching the wording of the option with the text` and `guesssing` to answers the questions which they found difficult due to their distractors.Ill Another finding of this study showed that the alternatives in the M.C. test both helped and hindered the students in finding the correct answer. It was also noticed that students tried to answer all the questions in the multiple-choice test, but they did not answer the ones which they were not sure of in the open-ended test.There were 37 unanswered questions in the O.E. test, while only 2 in the M.C. test in total). This result seem to support the argument that guessing is a useful strategy in taking multiple-choice tests. As a result of this study, it can be said that multiple-choice reading tests measure the abilities which they aim to measure; however, weak distractors may decrease the validity of these tests, making the questions too easy; hence, reducing the discriminative power of the items, and giving a chance to the low performers to find the correct answer by just using some strategies even if they do not comprehend the whole of the passage. In addition to weak distractors, very strong distractors may also have a negative effect on the validity of M.C. tests, in that they may hinder students' understanding of the question due to difficulties in its vocabulary or syntactic structure, and even if the students do comprehend the passage, such language difficulties can become an unnecessary handicap in finding the right answers. That is, students have to cope with the difficulties in the alternatives in addition to comprehension difficulties in M.C. tests, and this reduces the validity of these tests. Therefore, while preparing multiple-choice tests, it should not be forgotten that the forming of alternatives have an important effect on the difficulty of the questions and hence on the validity of the test itself. Science code : ELT599