A Study on developing a writing assessment profile for English preparatory program of Anadolu University School of Foreign Languages

Abstract

YÜKSEK LİSANS TEZ ÖZÜ ANADOLU ÜNİVERSİTESİ YABANCI DİLLER YÜKSEKOKULU İNGİLİZCE HAZIRLIK PROGRAMINDA YAZILI ANLATIM BECERİLERİNİ ÖLÇMEDE KULLANILABİLECEK BİR ÖLÇEĞİN GELİŞTİRİLMESİ ÜZERİNE BİR ÇALIŞMA Murat POLAT İngiliz Dili Eğitimi Ana Bilim Dalı Anadolu Üniversitesi Eğitim Bilimleri Enstitüsü, Temmuz, 2003 Danışman: Yrd. Doç. Dr. Aynur Yürekli Yabancı dil eğitiminde yazılı anlatım becerilerinin güvenilir ve tutarlı ölçümü eğitim kurumlan için çoğu zaman problemli olmuştur. Bu tip ölçümlerde öznel değerlendirmenin, yani insan faktörünün değerlendirme sürecine daha fazla girmesiyle notlayıcı tarafından verilen notların güvenilirliği ve hangi kriterlere uygun verildiği daha çok sorgulanır hale gelmiştir. Yazılı anlatım notlayıcılarının kendi aralarında, hatta kendi notlamaları arasında doğabilecek olası tutarsızlıklar, öğrencilerin eğitim kurumuna olan güvenini azaltırken, her eğitim sürecinde yapılması gereken öğrenci (ve dolayısıyla program) başarısını belirleyici değerlendirmeleri de tehlikeye atar. Bu durumu dikkate alarak, yabancı dil eğitimi veren kurumlarda yazılı anlatım becerilerini ölçmede yaşanan bu problemleri en aza indirgemek amacıyla uzun bir süredir yazılı anlatım değerlendirmelerinde güvenirliği arttırıcı çalışmalar yapılmakta ve yeni ölçüm araçları geliştirilmektedir. Ancak, hazırlanan bu araçların geliştirme aşamasında kullanılacakları eğitim kurumlarının isteklerine cevap verecek tarzda desenlenmeleri ve güvenirlik derecelerinin buna göre belirlenmesi, yabancı dil eğitimi veren başka kurumların bu araçları kullanmalarına engel olmaktadır, çünkü çoğu zaman başka eğitim programlarında aranılan kriterler ölçektekileri tutmamakta, ölçekte revizyona gidilmekte, bu durum da orijinal ölçeğin güvenirliğini önemli ölçüde azaltmaktadır. Dolayısıyla bu çalışmada, her eğitim kurumunun halihazırda kullandıkları ölçeklerin güvenirlik düzeylerini belli aralıklarla ölçtürmeleri ve yetersiz sonuçlar aldıklar takdirde kendi program ve öğrenci profiline uygun güvenirliği kanıtlanmış ölçekler geliştirmesi ve bunları kullanmasının daha iyi olabileceği fikriyle, Anadolu Üniversitesi Yabancı Diller Yüksekokulu İngilizcem Hazırlık Programı yazılı anlatım sınavlarını değerlendirmede kullanılan ölçeğin güvenirliğinin ölçülmesi amaçlanmıştır. Bu maksatla, bu okulda daha önce yapılmış bir yazılı anlatım sınavından 3 ayrı basan seviyesinde (iyi-orta-kötü) toplam 50 kağıt seçilmiş ve bunlar o okulda çalışan ve yazılı anlatım değerlendirmesinde en az 3 yıl deneyimli 10 hocaya yine bu okulda kullanılan bütünsel performansı ölçücü tipte bir kriterle birer ay arayla iki kere okutulmuştur. Elde edilen sonuçların okuyucuların kendi aralarında ve kendi okumaları arasındaki tutarlılıkları göz önüne alınarak güvenirlik hesaplamaları yapılmış ve sonuçların düşük çıkması nedeniyle yeni bir ölçek geliştirilmiştir. Analitik tipte hazırlanan bu yeni ölçekle aynı kağıtlar aynı hocalara yine birer ay arayla okutulmuş ve elde edilen sonuçların okuyucuların kendi aralarında ve kendi okumaları arasındaki tutarlılıkları göz önüne alınarak güvenirlik hesaplamaları yapılmıştır. Bu hesaplamalardan 6 ay sonra aynı kağıtlar her iki ölçekle aynı hocalara bir ay arayla birer kez daha okutulmuş ve güvenirlik düzeyleri karşılaştırılmıştır. Uygulama sonuçlarının istatiksel analizleri, notlayıcıların her iki kriterle yaptıkları notlamalarında farklı davrandıklarını ve yeni geliştirilen analitik ölçekle notlama yaptıklarında belirlenen güvenirlik derecesinde hem kendi aralarında hem de kendi notlamaları arasında diğer ölçeğe göre çok daha tutarlı olduklarını ortaya koymuştur. Üçüncü defa yapılan notlamaların sonuçlan da, bundan önce yapılan iki notlamada elde edilen sonuçların uzun dönemde de aynı kaldığım gösterir niteliktedir. Bu sonuçlara göre yeni geliştirilen analitik ölçeğin Anadolu Üniversitesi Yabancı Diller Yüksekokulu İngilizce Hazırlık Programı Yazma Becerileri sınavlarını değerlendirmede bütünsel performansı ölçücü kritere oranla hem notlayıcılar hem de notlayıcıların kendi okumaları göz önüne alındığında daha güvenilir sonuçlar verebileceği söylenebilir.

IV MASTER OF ARTS THESIS ABSTRACT A STUDY ON DEVELOPING A WRITING ASSESSMENT PROFILE FOR ENGLISH PREPARATORY PROGRAM OF ANADOLU UNIVERSITY SCHOOL OF FOREIGN LANGUAGES Thesis Submitted for the Master of Arts English Language Teaching Department Advisor: Asst. Prof. Aynur YÜREKLİ In foreign language education, reliable and consistent measurement of writing abilities has quite often been challenging. The potential for subjective evaluation or the interference of the `human factor1' in such measurements has led to questioning of the reliability of the graders' decisions and justifications. Possible inconsistencies among graders and gradings of their own may lessen the respect of the students for the institution as well as endangering a number of assessments, which should never be ignored in education programs, since it affects the learners', and the school's success. Taking such inconsistencies into consideration, a significant amount of studies have been done with an aim to enhancing reliability. Thus, new measuring instruments have been developed in an attempt to minimize the current problems of language schools in the assessment of writing. However, most of those criteria are not found particularly suitable for the needs of each language school, and a number of revisions are made on those grading profiles according to their needs. Eventually, these revisions on the criterion decrease the reliability of the original version to a great extent. For this reason, it is claimed that language schools would better have their current scoring standards tested regularly. In case low reliability levels are taken, to design and use their own grading criteria according to their goals and learner profiles which have proven to be reliable would be better for such schools. In this study, it has been aimed to find out the reliability levels of the holistic-analytic instrument that isbeing used at Anadolu University School of Foreign Languages English Preparatory Program. With this aim in mind, a total of 50 papers of different achievement levels (unsuccessful, moderate, successful) were selected from a previous final exam held in this school and given to ten graders who have a minimum of 3 -year-experience in grading writing papers in this school. These graders were asked to grade these papers using the holistic-analytic criterion twice with 1 -month interval. Both the inter/intra-rater reliability levels were computed from the data and a need to develop a new criterion emerged after it was found that the reliability levels of the holistic-analytic criterion were considerably low. With the new criterion designed to measure analytically, the same papers were again graded by the same graders twice with a month interval. To confirm those calculations, the same pile of papers was graded with each criterion by the same graders for the 3rd time after six months, and the results of the reliability tests were compared. Statistical analysis of the above application revealed that the graders acted differently in their gradings using both instruments; what is more, the inter/intra-rater consistency degrees were found to be significantly higher than the ones gathered from holistic-analytic instrument when the new analytic criterion was used as the medium of evaluation at a certain significance level. Findings of the 3rd grading with each criterion confirmed the results of the previous gradings in the long-term. All these results seem to suggest that in the evaluation of writing exams in Anadolu University, School of Foreign Languages English Preparatory Program, the new analytic criterion would provide better inter/intra-rater reliability degrees than the holistic-analytic criterion.