A study on the qulaity of Mersin University school of foreign languages 2002-2003 acedemic year English preparatory classes final exam

Abstract

Bu çalışmanın amacı Mersin Üniversitesi Yabancı Diller Yüksekokulu2002-2003 eğitim öğretim yılında İngilizce Hazırlık sınıfları final sınavı olarakuygulanan ölçme aracının niteliğini madde güçlük indeksi, madde ayırıcılık gücüindeksi, test güvenirliği ve programın hedefleri ile sınavda kullanılan maddelerarasındaki tutarlık gibi psikometrik özellikleri bakımından ortaya koymaktır.Madde güçlük ve madde ayırıcılık gücü indeksi ile test güvenirliğininbelirlenmesi için gerekli veriler Mersin üniversitesi Yabancı Diller Yüksekokulu2002-2003 eğitim öğretim yılında İngilizce Hazırlık sınıfları final sınavı olarakuygulanan ölçme aracına öğrencilerin verdikleri cevaplardan elde edilmiştir.Programa ilişkin belirtke tablosunun geliştirilmesi için gerekli veriler,araştırmacı tarafından geliştirilen ölçek formu yardımıyla ders veren öğretimelemanlarının; maddelerin ilgili olduğu hedef basamaklarının belirlenmesi içingerekli veriler de yine araştırmacı tarafından geliştirilen ölçek formu yardımıylaölçme ve değerlendirme ve program geliştirme uzmanlarının görüşleriyardımıyla elde edilmiştir.Madde ayırıcılık gücü indeksinin hesaplanmasında nokta-çift serilikorelasyon katsayısından; testin güvenirliğinin belirlenmesinde ise KuderRichardson-20 güvenirliğinden yararlanılmıştır. Yine, final sınavı puanlarınailişkin bazı istatistikler (aritmetik ortalama, medyan, mod, standard sapma,çarpıklık, basıklık, ranj ve en düşük ve en yüksek puanlar) hesaplanmıştır.Sınavda kullanılan maddelerin hedef basamakları ile belirtketablosunda yer alan konu ve hedef basamaklarını belirlemek amacıyla öğretimelemanlarının ve uzmanların tepkilerine ilişkin frekans ve yüzdeliklerdenyararlanılmıştır. Analizlerin yapılmasında SPSS 12.0 paket programındanyararlanılmıştır.Bulgular, sınavdaki 4 maddenin çok zor (0,11-0,20), 11 maddenin zor(0,24-0,36), 25 maddenin orta (0,41-0,59), 33 maddenin kolay (0,62-0,80), 21 adetmaddenin de çok kolay (0,82-0,95) maddeler olduğunu ortaya koymuştur.Madde ayırıcılık gücüne ilişkin bulgular, 22 maddenin, o maddelerleölçülmek istenen davranışları gerçekleştiren ve gerçekleştiremeyen öğrencileriayırt edemediğini göstermektedir. Sınavdaki 49 maddenin, o maddelericevaplamak için gerekli bilgiye sahip olan ve olmayan öğrencileri ayırt edebildiğibulgulanmıştır.Ölçme aracının güvenirliği 0,89 olarak hesaplanmış olup sınavın yeterligüvenirlikte olduğu ifade edilebilir.Ölçme aracında yer alan maddelerin konuları ve hedef basamakları ilebelirtke tablosundaki konuları ve hedef basamakları karşılıklı incelendiğindebelirtke tablosunda yer alan 9 konunun ölçme aracındaki maddeler aracılığıylaölçülmediği ve ölçme aracında, belirtke tablosunda yer alan hedefbasamaklarından farklı hedef basamaklarına ait 11 adet maddenin yer aldığıbelirlenmiştir.Öğretim elemanlarının ve uzmanların sınavdaki maddelerin hangihedef basamaklarına yönelik olduğuna ilişkin tepkileri karşılaştırıldığındasadece 24 madde üzerinde uzlaşma olduğu ortaya konmuştur.

The purpose of this study is to reveal the quality of the measurementinstrument used as the final exam which was implemented at Mersin UniversitySchool of Foreign Languages at the end of 2002-2003 academic year consideringits psychometric characteristics such as item difficulty index, item discriminationindex, test reliability, and the consistency between the items and the objectives ofthe curriculum.The necessary data for the item difficulty index, the item discriminationindex, and the test reliability were gathered from the responses of the students tothe measurement instrument used as the final exam of Mersin University Schoolof Foreign Languages 2002-2003 English preparatory classes.The necessary data for developing the table of specifications belongingto the programme were gathered via the scale form developed by the researcherfrom the views of the instructors of the preparatory classes. Moreover, the datafor determining the cognitive levels related to the items were gathered via thescale form developed by the researcher from the views of measurement andevaluation experts and the views of curriculum development experts.In order to compute the item discrimination index, point-biserialcorrelation coefficients were computed. Besides, Kuder Richardson-20 reliabilitycoefficient was computed for determining the test reliability. Some statistics (themean, median, mode, standard deviation, skewness, kurtosis, range, andminimum and maximum scores) were also computed.Frequencies and percentage ratios related to the responses of theteachers and the experts were utilized in order to determine the topics and thecognitive levels placed in the table of specifications and the cognitive levels of theitems used in the exam. The analyses were made by using SPSS 12.0 statisticspackage programme.The findings indicated that 4 items (0,11-0,20) used in the exam werevery difficult, 11 items (0,24-0,36) were difficult, 25 items (0,41-0,59) weremoderately difficult, 33 items (0,62-0,80) were easy, and 21 items (0,82-0,95) arequite easy.The findings related to the item discrimination index indicated that 22items could not discriminate the students who acquired the intended behavioursand who did not. Besides, it was found out that 49 items could discriminate theexaminees who had the necessary knowledge for responding to the itemscorrectly and who did not have it.The reliability of the measurement instrument was found as 0.89. It canbe stated that the measurement instrument is adequately reliable.When the topics and the cognitive levels in the measurement instrumentand the topics and the cognitive levels in the table of specifications wereexamined, 9 topics placed in the table of specifications do not seem to bemeasured via the items in the measurement instrument. Moreover, it wasrevealed that 11 items which belonged to other cognitive levels rather than theintended ones in the table of specifications were included in the exam.The findings also revealed that the responses of the teachers were inconformity with the experts? in the cognitive levels of only 24 items used in theexam.