A comparison of computer assisted and face-to-face speaking assessment: Performance, perceptions, anxiety, and computer attitudes

Abstract

Bilgisayar teknolojisi uzun bir süredir zaman tasarrufu sağlayan ve düşük maliyetli bir yöntem olarak yabancı dil değerlendirmesinde kullanılmaktadır. Bu yüzden kayda değer miktarda araştırma dilin farklı yapılarını değerlendirmede bilgisayar destekli ( yarı-dolaylı) değerlendirmenin etki ve etkinliğine yoğunlaşmıştır. Bununla birlikte, bilgisayar destekli ve yüzyüze formatların konuşma sınavında benzer sonuçlar verip vermediğini ve birinin diğerinden daha avantajlı olup olmadığını bulmak amacıyla az sayıda araştırma yapılmıştır. Bilgisayar destekli konuşma sınavlarının yerel düzeyde başarı sınavı olarak yapılmasının olası sonuçları ise daha az araştırılmıştır.Bu keşif çalışmasının amacı yukarıda sözü edilen boşluğu bir dizi değişken arasındaki ilişkileri inceleyerek doldurmaktır. Bu tezde, iki farklı yeterlilik düzeyinde iki farklı sınav formatında yapılan sınavlarda alınan notlar, öğrencilerin sınav formatlarına yönelik algıları, ve yabancı dil konuşmaya, konuşma sınavlarına ve bilgisayar kullanımına dair kaygı düzeyleri arasındaki ilişkiler sunulmuştur. Veriler, dört adet bilgisayar destekli ve dört adet yüzyüze konuşma sınavı, bir Bilgisayar Destekli Konuşma Sınavı (BDKS) Algıları ve bir Yüzyüze Konuşma Sınavı (YKS) Algıları anketi, bir konuşma sınavı ve konuşma kaygısı ölçeği, ve bir bilgisayar tutum ölçeği aracılığıyla toplanmıştır. Uludağ Üniversitesi Yabancı Diller Yüksekokulu'nda yürütülen çalışmada, toplamda İngilizce öğrenen 66 hazırlık sınıfı öğrencisi ve dört İngilizce öğretmeni yer almıştır.Nicel ve nitel veri analizi, iki farklı sınav formatının öğrencileri çok farklı sıraladığını ve her iki yeterlilik düzeyinde de yüzyüze konuşma sınavı için daha olumlu olduğu bulunan sınav algılarının, öğrencilerin sınav performansıyla güçlü ilişkili olmadığını ortaya çıkarmıştır. Yukarıda söz edilen farklı kaygı türleri sınav notlarıyla zayıf ilişkilidir ve aralarında ilişkinin derecesi yeterlilik düzeyine göre değişmektedir.Bu çalışmanın sonuçlarının yabancı dil değerlendirmesi yapanlar, yabancı dil öğretmenleri ve yabancı dil değerlendirmesiyle ilgilenen kurum ve araştırmacılara yardımcı olması umulur.Anahtar kelimeler: Bilgisayar destekli sözlü değerlendirme, konuşma değerlendirmesi, yüzyüze, konuşma, konuşma sınavı, bilgisayar tutumları, kaygı, BDKS, YKS

Computer technology has long been applied to language testing as a time and cost efficient way to conveniently assess the proficiency of large numbers of students. Thus, a good deal of research have focused on the effect and efficiency of computer assisted (semi-direct) assessment in evaluating different constructs of the language. Nonetheless, little research has been conducted to compare computer assisted and face-to-face (direct) formats to find whether the two modes yield similar results in oral assessment and whether one is advantageous over the other. Even less investigated were the possible outcomes of administration of computer-assessited speaking tests on a local basis, as achievement tests.The purpose of this exploratory study is to fill the abovementioned gap via examining the relationships between a number of variables. Presented in the thesis are the relationships between test scores obtained in two different test modes at two different proficiency levels, the students? perceptions of the test modes, and their anxiety levels with regard to speaking in a foreign language, speaking tests, and using computers. Data were collected through four computer assisted and four face-to-face speaking assessments, a questionnaire on Computer Asssisted Speaking Assesment (CASA) perceptions and another on Face-to-face Speaking Assessment (FTFsa) perceptions, a speaking test and speaking anxiety questionnaire, and a computer familiarity questionnaire. A total of 66 learners of English at tertiary level and four instructors of English participated in the study which was conducted at Uludağ University School of Foreign Languages.The quantitative and qualitative data analyses revealed that the two test modes give very different rankings to the students, and the students? perceptions of the test modes, which have been found to be more positive about the FTFsa at both proficiency levels, are not strongly related to their performance in the speaking tests. The relationship between different types of anxiety mentioned above and test scores are only weakly related to the test scores and the degree of the relationships vary depending on the proficiency level.The results of this study are hoped to be beneficial to the language assessors, instructors, and institutions and researchers that are into language assessment.Key words: Computer assisted oral assessment, speaking assessment, face-to-face, speaking, speaking test, computer attitudes, anxiety