Item analysis of multiple choice final exam of noncompulsory preparatory students: A study at a state university

Abstract

Bu çalışmanın amacı Mehmet Akif Ersoy Üniversitesinde (MAKU) isteğe bağlı hazırlıkokuyan 210 öğrenciye uygulanan çoktan seçmeli final sınavlarını incelemektir. Buçalışma sınavları özellikle çoktan seçmeli soruların üç niteliği yani madde zorlukderecesi, madde ayırt ediciliği ve çeldirici yeteneği açısından incelemeyiamaçlamaktadır. Türk alanyazında çoktan seçmeli testlerle ilgili birçok çalışmabulunmasına rağmen çoktan seçmeli soruları madde analizi bakımından inceleyen çokaz çalışma bulunmaktadır. Bu yüzden bu çalışma iki çoktan seçmeli sınavı maddeanalizi açısından inceleyerek alanyazına katkıda bulunacaktır. Bu çalışmada yarıyapılandırılmış görüşmeden ve istatistiksel analizlerden yararlanan karma araştırmayöntemi kullanılmıştır. Verileri analiz etmek için tek örneklem t-testi, sıklık analizi veiçerik analizi kullanılmıştır. Sonuçlar göstermektedir ki, sınavlardaki soruların çoğuöğrenciler için orta zorluk derecesine sahiptir. Ancak, soruların hemen hepsi çok düşükmadde ayırıcılığı değerine sahiptir ve bazı soruların ayırıcılık değerinin negatif olduğubulunmuştur. Ayrıca, sonuçlar sınavlardaki soruların üçte birinde en az bir tane işlevsizçeldirici olduğunu göstermektedir. Sonuçlara göre 1. oturumdaki öğrencilerin en başarılıolduğu bölüm Dinleme iken, en başarısız oldukları bölüm ise Diyalog bölümüdür. 2.oturumdaki öğrencilerin en başarılı oldukları bölüm Çeviri bölümü iken en başarısızoldukları bölüm Kelime bölümüdür. Ayrıca, öğrencilerin yıl içi sınav not ortalamalarıile final sınavı not ortalamaları arasında anlamlı bir fark olduğu bulunmuştur. Sonolarak, sonuçlar göstermektedir ki katılımcıların üçte biri sınavın çok zor olduğunudüşünürken üçte biri sınavın orta zorlukta olduğunu ve geri kalan üçte biri ise sınavın kolay olduğunu belirtmiştir. Ayrıca, katılımcıların çoğu sınavın iyi bir ayırt ediciliğesahip olduğunu ve çeldiricilerin etkili olduğunu belirtmiştir. Çalışmanın sonunda,soruları ideal ve farklı kolaylık derecesine, yüksek ayırt ediciliğe ve etkili çeldiricileresahip olacak şekilde daha etkili hale getirmek için öğretmenler ve soru geliştirenler içinbazı yönergeler sunulmuştur.

The aim of this study is to examine the multiple choice final exams administered to 210non-compulsory preparatory school students at Mehmet Akif Ersoy University(henceforward MAKU). The study specifically aims to analyze the exams in terms ofthree characteristics of multiple-choice questions (MCQs): item facility, itemdiscrimination and distractor efficiency. Although there have been many researchpapers studying multiple choice tests, there have been very limited studies analyzing themultiple choice items in terms of item analysis in Turkish literatüre. Hence, this studywill contribute to the field analyzing two multiple-choice exams with respect to itemanalysis. In this study mixed-method research design was adoptated which benefittedfrom statistical analysis and a semi-structred interview. The data were analyzed throughPaired Samples T-Test, Frequency analysis and content analysis. The results of thestudy revealed that most items in final exams had moderate difficulty levels for thestudents. However, almost all items in the exams had low discrimination indices andsome items had negative discrimination values. Furthermore, the results showed thatone third of the items in the exams had at least one non-functional distractor. The resultsshowed that the students in session 1 did best in Listening part while they did worst inDialogue part. However, the students in session 2 did best in Translation part while theydid worst in Vocabulary part. Moreover, there was found a significant differencebetween the students' in-year grades point average and final grades point average.Finally, the results showed that one third of the participants stated that the exam wasvery difficult for their levels while one third of the participants remarked that the examhad a moderate difficulty level, and the rest one third of them stated that the exam waseasy. Moreover, most participants remarked that the exam was discriminating well andthe distractors were efficient. At the end of the study, some guidelines were presentedfor teachers and test delevopers to make the items more functional having appropriatemix of difficulty levels with a high discrimination and effective distractors.