An evaluation of the performance assessment component of an efl preparatory school program

Abstract

Bu çalışmanın amacı, Türkiye'deki bir devlet üniversitesi bünyesinde İngilizce yabancı dil eğitimi veren bir hazırlık okulunda öğrencilerin İngilizcedeki başarı ve performansını ölçmek için ağırlıklı olarak kullanılan geleneksel sınav yöntemlerine ek olarak performansa-dayalı ölçme-değerlendirme tekniklerinin uygulanmasını irdelemektir. Bu çalışma ile alternatif ölçme ve değerlendirme yöntemi olarak kabul edilen performans görevlerinin uygulaması öncesinde öğrenci, öğretim görevlisi ve idarecilerin tutumları, uygulama sonrası görüş ve önerileri ve bu alternatif ölçme tekniğinin planlama ve uygulama safhaları ile mevcut dil programına uygunluğu gibi konular değerlendirilmektedir. Dil programının önemli bir parçası olan ölçme-değerlendirmenin bu alternatif tamamlayıcı uygulaması Stufflebeam (2001) tarafından öne sürülen gelişim-odaklı değerlendirme yaklaşımlarından 'Karar/hesap verebilirlik-odaklı' değerlendirme prensipleri çerçevesinde irdelenmiştir. Çalışmada veri toplama aracı olarak açık-uçlu sorular ve 5-li Likert ölçeği kullanılmış olup, çalışmaya toplam 129 öğrenci, 60 öğretim görevlisi ve iki idareci katılmıştır. Çalışmanın nicel bulguları içerik ve tematik analiz ile nitel bulguları istatistiksel bir program aracılığıyla analiz edilmiş olup, tüm bu analizler uzman görüşü kontrolünde sunulmuştur. Çalışma sonuçlarına göre uygulama öncesi tüm paydaşlar performans görevlerinin dile ve öğrenime katkısı konusunda hem fikir iken, öğrenciler uygulamanın olası negatif tarafının fazladan zaman ve çaba harcanması olduğunu belirtmiştir. Öğretim görevlileri ise uygulamanın negatif yönlerinden bahsederken genelde ölçme-değerlendirmeye yönelik endişelerini ifade etmişlerdir. Hazırlık okulu idarecileri ise performans görevlerinden öğrenci otonomisi ve güdülenmesi adına olumlu beklentiler içinde olup bu uygulamanın uygulayıcılar için meşakkatli bir iş olduğunun altını çizmişlerdir. Uygulama sonrası katılımcılara planlama, uygulama, notlandırma, öğrenim kazanımları ve programla uyum aşamalarını değerlendirmeleri için sunulan anketin sonuçlarına göre performans görevlerinin katılımcılar tarafından olumlu karşılandığı ve mevcut ders programıyla örtüştüğü gözlemlenmiştir. Anketin açık-uçlu bölümündeki katılımcı yanıtlarına göre sırasıyla öğrencilerin çoğu, öğretim görevlilerinin büyük çoğunluğu ve idarecilerin her ikisi de performans uygulamalarının özellikle performans görev sayıları, içeriği ve sunma teknikleri gibi bazı değişiklikler yapıldıktan sonra gelecek yıllarda da devam etmesi yönünde fikir beyan etmişlerdir. Çalışma sonunda tüm uygulama süreci Karar/Hesap verebilirlik-odaklı değerlendirme prensipleri çerçevesinde irdelenmiştir. Bu çalışmada sunulan nitel ve nicel bulguların benzer alternatif değerlendirme yöntemlerini uygulamak isteyen kurumlar ve program değerlendiricileri için örnek teşkil etmesi ve dil öğretimine katkı sağlaması ümit edilmektedir.

The purpose of the present study is to evaluate the use of Performance-based Assessment Tasks (PTs) as the supplementary assessment component of the English language program carried out in a preparatory school of a state university from the perspective of the students, instructors and administrators. It explores their expectations before the implementation and their opinions after the implementation on the planning, application, scoring and learning outcomes phases and also its consistency with the current English language program in 2017-2018 academic year. The formative evaluation is based on the Decision/Accountability-Oriented evaluation approach introduced by Stufflebeam (2001). To conduct this mixed-methods study, an open-ended questionnaire is designed and applied to 126 students, 60 instructors and two administrators to collect qualitative data. For the quantitative data, a Likert-scale is designed and applied to the same participants. In addition, opinions and suggestions of the stakeholders for possible future PT practices are gathered via three open-ended questions. The qualitative data is analyzed by means of content and thematic analysis while the data gathered through the scales are analyzed by means of a statistical program to yield means and percentages. Results for the qualitative data collected before the PT implementation indicate that all stakeholders agree on the linguistic benefits of PTs and its contribution to learning. Students' worries focus on time, effort and difficulty of PT practices whereas instructors embody mainly assessment-related concerns. Administrators expect the PT practices to affect learner autonomy and motivation positively while they are aware of the workload for the instructors. The results of the scale conducted after the implementation reveal that when the tasks are not favored, it is mostly due to its number, content and collecting procedures. The planning, application, scoring, learning outcomes and program consistency phases are evaluated in a moderately positive way by the students while evaluated more positively by the instructors and the administrators. Even though most stakeholders urge some revisions on PTs, a large number of instructors, a great majority of students and the administrators agree on its continuity in the following years. The suggestions made by the stakeholders are presented and taken into consideration to enhance this assessment component in accordance with the current language program. The overall evaluation is discussed with respect to the decision/accountability-oriented evaluation principles. In conclusion, this study provides valuable findings for the field of education particularly for program evaluators, practitioners and researchers in terms of not only assessment but also evaluation.