The Measurement of content words in vocabulary tests for preparatory English programs in high school using three assessment tasks: C-test, multiple-choice test and matching tast (a case study)

Abstract

IV ÖZET ORTA ÖĞRENİMDEKİ İNGİLİZCE HAZIRLIK PROGRAMLARI İÇİN GELİŞTİRİLEN KELİME BİLGİSİ ÖLÇME SINAVLARINDA BİLGİ YÜKLÜ KELİMELERİN ÜÇ AYRI TEKNİK İLE ÖLÇÜLMESİ: C-TEST, ÇOKTAN SEÇMELİ VE EŞLEŞTİRME (Örnek Vaka Çalışması) KORKMAZ, Eylem Yüksek Lisans Tezi, İngiliz Dili Eğitimi Tez Yöneticisi: Yrd. Doç. Dr. Berrin Uçkun Ocak, 2005, 113 Sayfa Herkesin öğrenim fırsatı elde etme hakkı vardır. Gerekli koşullar ve yeterli zaman sağlandığında herkes öğrenebilir. Öğrencileri motive etmek amacıyla her öğrenim sürecinin sonunda bir değerlendirme süreci bulunmalıdır çünkü daha iyi motive edilen öğrenci edilmeyene göre daha başarılı olmaya eğilimlidir. Bu tezde üç farklı test türü kullanarak bilgi yüklü kelimelerin ölçülmesi amaçlanmaktadır. Söz konusu çalışmada Kilis'teki iki Anadolu Lisesindeki 165 öğrenciye uygulanan kelime sınavları sonuçları incelenmektedir. Çalışmaya katılan öğrenciler 2003-2004 öğretim yılında hazırlık sınıflarına devam etmekteydiler. Veriler bir C-test, bir çoktan seçmeli ve bir de eşleştirme sınavı yoluyla toplanmıştır. Bu üç test aynı kelimeleri içerir ve kelimeler aynı okuma parçaları içindedir. 55 öğrenciye C-test, 54 öğrenciye çoktan seçmeli ve 56 öğrenciye de eşleştirme sınavı uygulandı. Öğrenciler sınav grubuna gelişigüzel atandılar.V Öğrencilerin puanları testlere verdikleri cevaplardan elde edilmiştir. Başarısı yüksek olan ve düşük olan öğrencilerin puanları değerlendirilmiş ve soru analizinde kullanılarak her bir testin zorluk seviyesi ve ayırıcılık gücü hesaplanmıştır. Veriler istatistiki bir program olan SPSS 11.0 aracılığıyla hesaplanmıştır. Bu program kullanılarak öğrencilerin ortalama puanları arasında anlamlı bir fark veya kısmi korelasyon olup olmadığını göstermek amacıyla tek faktörlü varyans analizi (ANOVA) ve Basit Korelasyon uygulanmıştır. Testlerin güvenirliği de SPSS programı kullanılarak hesaplanmıştır. Guttman Split-Half ölçeğine göre üç testin de oldukça güvenilir olduğu görülmüştür. Çalışmanın bulguları bu üç testin ayırıcılık gücü ortalamaları arasında istatistiksel olarak anlamlı bir fark olmadığını göstermiştir. Sonuçlar ayırıcılık gücü ortalamalarının hemen hemen aynı olduğunu göstermiştir (C-test için 0.18, çoktan seçmeli için 0.17 ve eşleştirme için 0.19). Ancak, bu üç testin ortalamaları arasında istatistiksel olarak anlamlı bir fark olduğu görülmüştür. Öğrencilerin not ortalamaları dikkate alındığında, en yüksek başarı eşleştirme sınavının sonuçlarında görülmüştür (72.50). C-testi alan öğrenciler en düşük notlan alırken (42.09) çoktan seçmeli sınavı cevaplayanlar ise orta derecede başarı göstermişlerdir (69.35). Çalışmadan elde edilen diğer bir bulgu ise öğrencilerin bu testlerden aldıkları notlar ile dönem sonu notları arasında anlamlı bir ilişkinin bulunmasıdır. Determinasyon katsayıları ve öğrencilerin dönem sonu notları dikkate alındığında, C-testteki toplam değişkenliğin %15'nin, çoktan seçmeli sınavda % 14' ünün, ve eşleştirme sınavında %44'nün öğrencilerin genel dil becerilerinden kaynaklandığı söylenebilir. Çalışmadan elde edilen son bulgu ise öğrencilerin söz dizimi ve anlamca doğru cümleler kurabilmeVI yetenekleri ile C-test ve eşleştirme sınavları arasında anlamlı bir ilişkinin olmamasıdır. Ancak çoktan seçmeli sınav ile öğrencilerin söz dizimi ve anlamca doğru cümleler kurabilme yetenekleri arasında anlamlı bir ilişki bulunmuştur. Bu araştırmanın sonucunda kullanılan test yönteminin kelime ölçümünde öğrenci notlarını etkilediği söylenebilir. Test türünün öğrenci notlarını belirlemede bir faktör olduğu kabul edilirse, bu testlerin geçerliliğinin değişik araçlar yoluyla ölçülmesi gerekir, eşleştirme sınavı bu üç sınav içinde öğrencilerin en yüksek notlar aldıkları sınavdır ve öğrencilerin bu sınava daha iyi hazırlandıkları görülmektedir. Böylece öğretmenler öğrencilerinin kelime bilgisini ölçerken sınavlarında eşleştirme yöntemini kullanabilirler ve sonuçları ile başarısız öğrencileri motive edebilirler. Sınıftaki öğrenme aktivitelerinin öğrenci başarısı üzerinde büyük etkisi olmasından dolayı öğretmenler öğrencilerinin test türüne aşinalığım kazandırmak için kullanacağı yeni test türünü sınıfta tanıtmalıdır. C-test çeşitli beceri seviyelerini ayırt etmede güçlü bir ölçüm aracıdır ve bu testte öğrencilerin kelime bilgisini ölçmede üretime dayalı bir yöntem kullanılmaktadır. Bilim Kodu: ELT 599

ABSTRACT THE MEASURAMENT OF CONTENT WORDS IN VOCABULARY TESTS FOR PREPARATORY ENGLISH PROGRAMS IN HIGH SCHOOLS USING THREE ASSESSMENT TASKS: C-TEST, MULTIPLE CHOICE TEST AND MATCHING TEST (A Case Study) KORKMAZ, Eylem MA in English Language Teaching Supervisor: Assist. Prof. Dr. Berrin Uçkun January, 2005, 113 Pages Everybody deserves to be given the chance to learn; and every human being is able to learn if tools and sufficient time for success are provided. At the end of each teaching process there should be an assessing process in order to motivate the learners since more motivated students tend to be more successful than less motivated students. This thesis aims at investigating the measurement of content words by using three different test types. The study analyses the results of vocabulary tests which were delivered to 165 students at two Anatolian High Schools in Kilis. The students who participated in this study were attending the preparatory classes in the academic year 2003-2004. The data were collected through the application of a C-test, a multipleII choice test and a matching test. All three tests contained the same vocabulary items and all the items were contained in the very same reading passages. Fifty five of the students took the C-test, 54 of them took the multiple choice test and 56 of them took the matching test. Subjects were assigned randomly to these three types of tests. Students' scores were obtained from their answers to the tests. The scores of the high performers and the low performers were evaluated and used for the item analysis and the difficulty level and discriminative power of each test was calculated. The data were computed using statistical analysis program, SPSS 11.0. Using this statistical program oneway ANOVA and simple/bivariate correlation coefficient were carried out to show whether there was any significant difference or relationship between subjects' average scores. The reliabilities of the tests also were measured by SPSS. As a result, the three tests were found to be quite reliable according to the Guttman Split-half scale. The findings of the study indicated that there was statistically no significant difference between the means of discriminative power values of the items in the three different test types. The results showed that the means of discriminative power values were nearly the same (0.18 for the C-test, 0.17 for the multiple choice test and 0.19 for the matching test). However, the difference between the mean scores on the three test types was found to be significant. When the mean scores of the students were taken into account, the students were found to be more successful in the matching test (72.50). On the contrary, subjects received the lowest scores on the C-test (42.09) while multiple choice stood in the middle (69.35). Another finding of the study is that there was a significant relationship between the three test types and students end-of-the-semesterIll grades. When the determination coefficients were taken into consideration, it could be argued that 15% of the total variation in subjects' scores on the C-test, 14% of the their success in the multiple choice test and 44% of their success in the matching test can be accounted for by the subjects' total language performance as indicated by their end-of- the-term English grades. The last finding of the study is that there was not a significant relationship between students' scores in vocabulary tests constructed in the form of the C-test, and matching test and their ability to construct semantically and syntactically correct sentences. However, there was a significant relationship between students' scores in multiple choice test and their ability to construct semantically and syntactically correct sentences. As a result of this research, it can be said that the testing method used can affect the grades of the students in vocabulary assessment. If we accept test type as a factor determining subjects' scores, then the validity of these tests would need to be re examined through other means. Matching test yields the highest scores of the three. Students seem to be better prepared for this test type. Thus, teachers may include matching test type in their examinations in order to assess their students' vocabulary knowledge, and motivate the poorer students with the resulting success. Since classroom teaching activity has a great effect on students' success, teachers should also introduce new test types, such as the C-test, during the teaching process in order to make their learners gain familiarity with them. C-test is an equally powerful tool in discriminating between various levels of proficiency and is considered to be a productive procedure giving access to students' breath of vocabulary. Science code: ELT 599