Students` and teachers` perceptions of the test techniques used to assess language skills at university level

Abstract

Bu çalışma, öğrenci ve okutmanların Çanakkale Onsekiz Mart Üniversitesinde dil performansını ölçmede kullanılan Zorunlu İngilizce Dersi Sınavlarına ilişkin algılamalarını tespit etmeyi amaçlamaktadır. Ayrıca; çalışma öğrenci ve okutman görüşlerini dikkate alarak bu sınavlarda çoktan seçmeli test tekniğinin yanı sıra başka hangi objektif test tekniklerinin kullanılabileceğini belirlemeyi hedeflemektedir.Bu betimsel çalışmada nicel araştırma yöntemi kullanılmıştır. Yukarıda belirtilen hedefleri gerçekleştirmek amacıyla araştırmacı tarafından iki adet anket hazırlanmış ve anketler 367 öğrenciye, 33 okutmana uygulanmıştır. Anketteki maddelerin iç tutarlılık analizi yapıldıktan sonra, hem öğrenci anketi için hem de okutman anketi için kabul edilebilir Alpha güvenilirlik değerleri bulunmuştur. Araştırma için gerekli olan veri okutmanlardan ve öğrencilerden bu anketler aracılığıyla toplanmıştır. Okutman anketi Çanakkale Onsekiz Mart Üniversitesinde zorunlu İngilizce dersi okutmanı olarak görev yapmış ya da yapıyor olan tüm okutmanlara uygulanmıştır. Çalışmaya katılan öğrencilerin hepsi ikinci sınıf öğrencileridir ve Zorunlu İngilizce Dersini bu çalışma uygulanmadan bir yıl önce almışlardır.Anketler aracılığıyla elde edilen veriler, tanımlayıcı istatistikler (Descriptive Statistics), tek faktörlü varyans analizi (One-way ANOVA), bağımsız örneklemler T-Testi (Independent Samples T-Test), Cronbach Alpha güvenilirlik testi (Cronbach Alpha Reliability Test) ve parametrik olmayan Kruskal-Wallis Testi (Nonparametric Kruskal-Wallis Test) kullanılarak SPSS 13.0 istatistik programı ile analiz edilmiştir.Tanımlayıcı istatistik sonuçlarına göre; öğrenciler okutmanlardan konuşma, dinleme ve yazma becerilerini geliştiren aktivitelere daha çok önem vermelerini beklemektedirler. Aynı zamanda, sonuçlar yaklaşık olarak okutmanların yüzde 73'ünün sınavların ölçme değerlendirme birimi tarafından hazırlanmasını tercih etmelerine karşın, öğrencilerin yarısından fazlasının ise sınavların sorumlu öğretim elemanı tarafından hazırlanmasını tercih ettiklerini göstermektedir. Sonuçlar, öğrencilerin ve okutmanların sınavlarda yaygın olarak kullanılan çoktan seçmeli test tekniğinin yanı sıra diğer test tekniklerini kullanmanın da gerekli olduğunu düşündüklerini ortaya koymuştur.Tek faktörlü varyans analizi sonuçları; öğrencilerin başarıları arttıkça, onların sınavın farklı özelliklerinden daha çok memnun olduklarını gösterir. Okutmanlara gelince; parametrik olmayan Kruskal-Wallis testi, okutmanların eğitim düzeyleriyle sınıflarda kullandıkları test teknikleri ve yine eğitim düzeyleriyle sınavlarda kullanılabileceğini düşündükleri test teknikleri arasında anlamlı bir fark bulunmadığını göstermiştir. Ancak, okutmanların deneyimi arttıkça, ölçme değerlendirme birimi tarafından hazırlanan sınavları daha etkin buldukları ortaya çıkmıştır.Çalışmadaki bir diğer önemli sonuç ise öğrencilerin ve okutmanların test tekniklerini tercih etmedeki sıralamalarında ufak farklılıklar olmasına karşın, her iki grubunda tercih ettiği ilk sekiz objektif test tekniğinin tamamıyla aynı olmasıdır.Bu çalışmanın sonunda hem öğrencilerin hem de okutmanların ölçme değerlendirme biriminin şu anki çalışmalarının etkinliğine ilişkin bazı kuşkuları olduğu sonucuna ulaşılmıştır. Bu yüzden, daha etkin sınavlar için, sınav hazırlayanlar okutman ve öğrencilerin ortak olarak tercih ettikleri sekiz objektif test tekniğini [(1) Çoktan Seçmeli Sorular, (2) Karşılaştırma, (3) Sıraya Koyma, (4) Boşluk Doldurma, (5) Doğru-Yanlış Soruları, (6) Kısa Cevaplı Sorular, (7) Hata Düzeltme, (8) Kelime Değiştirme] Zorunlu İngilizce Dersinin sınavlarında kullanabilirler. Merkezi olarak yürütülen başarı sınavının yanı sıra; okutmanlar bu derste kendi hazırladıkları başarı testlerini de kullanmalı, öğrencilerin bu testlerden alacakları notları değerlendirme sürecinde dikkate almaları gerekmektedir. Ayrıca, sadece test etme üzerine uzmanlaşmış kişilerden oluşan ölçme değerlendirme birimi daha iyi ve daha yetkin sınavlar hazırlamada faydalı olacaktır.

This study aims (a) to find out the students? and the instructors? perceptions of the Compulsory English Language Course exams used to assess language performance at Çanakkale Onsekiz Mart University (COMU). It further aims (b) to determine what other objective test techniques can also be used in these exams in addition to the multiple-choice test technique by taking all the students? and the instructors? opinions into consideration.Quantitative research methodology was used in this descriptive study. In the light of the literature; in order to achieve the aims stated above, two questionnaires were designed by the researcher and administered to 367 students and 33 instructors. After analyzing the internal consistency of the items in the questionnaires, the researcher found acceptable Alpha reliability values both for the students? questionnaire and for the instructors? questionnaire. Data from the students and instructors were collected by using these questionnaires. Instructors? questionnaire was administered to the instructors who had worked or were still working as the instructors of `Compulsory English Language Course? at COMU. The students who involved in the study were all in their second years at the university and they all had the ?Compulsory English Language Course? the year before the study was conducted.The data obtained through the questionnaires were analyzed via Descriptive Statistics, One-way ANOVA, Independent Samples T-Test, Cronbach Alpha Reliability Test and Nonparametric Kruskal-Wallis Test by using SPSS (Statistical Package for Social Sciences) 13.0 for Windows.The findings of the descriptive statistics showed that students expect the instructors to attach more importance to the activities improving their speaking, listening and writing skills. Furthermore, the results displayed that nearly 73 percent of the instructors prefer the exams to be prepared by a testing office while more than half of the students expect them to be prepared by the instructor of the course. The results also revealed that both the students and the instructors believed it was necessary to use other test techniques in addition to the multiple-choice test technique commonly used in the exams.According to the results of the One-way ANOVA, the more successful the students are, the more satisfied they are with the exams? different characteristics. As for the instructors, Nonparametric Kruskal-Wallis Test results indicated that there occurred no significant differences between instructors? educational background and the objective test techniques that they use in their classrooms. Additionally, it was found out there were no significant differences between instructors? educational background and their ideas on the objective test techniques that can be used in the exams. However, the more experienced the instructors are, the more efficient they find the exams prepared by the testing office.Another important finding was that although their order of preferring objective test techniques slightly differs, the first eight test techniques that the students and instructors preferred in the exams were completely same.The study concludes that both the students and the instructors have some doubts about the efficiency of the testing office?s current practices. Therefore, for more efficient exams, test constructors can include the eight objective test techniques [(1) multiple-choice questions, (2) matching, (3) ordering tasks, (4) completion, (5) true-false questions, (6) short-answer questions, (7) error correction and (8) word changing], which were commonly preferred by the instructors and the students, into the Compulsory English Language Course Exams. In addition to the centrally administered achievement tests of this course, instructors should use teacher-made achievement tests and take the scores that students get from these tests into consideration while assessing their learners? language performance. Moreover, having a testing office with test constructors specialized just at testing will be a good idea for preparing better and more efficient tests.