Automated writing evaluation use in an EFL context: From paragraph writing to essay writing

Abstract

Yazılı İngilizce dil öğrenen bir kişinin akademik başarısının önemli bir parçasıdır ancak bazı geleneksel öğretim yöntemleriyle yazma becerisini öğrenmek ve geliştirmek oldukça zordur. Bu nedenle, son zamanlarda Bilgisayar Destekli Dil Öğreniminin ve yapay zeka teknolojisinin yardımıyla, Otomatik Yazı Yazma Değerlendirme programları, dil öğrenen ve öğretenlere yazı yazma becerisinin öğretimi ve öğreniminde yardım etmesi için tasarlanmıştır ve geliştirilmiştir. Bu çalışma, Otomatik Yazı Yazma Değerlendirme programı (CyWrite) kullanımının kısa ve uzun dönemde Yabancı Dil olarak İngilizce öğrenen öğrencilerin yazı yazma becerilerine etkilerini incelemeyi ve bu beceriyi geliştirmelerinde programın nasıl yardımcı olduğunu anlamayı amaçlamıştır. Ayrıca öğrencilerin öğretmenlerinden aldıkları yazılı geribildirim ile sistemden aldıkları otomatik geribildirimler hakkındaki görüşlerinin de alınması amaçlanmıştır. Bu çalışma, sınıf temelli bir araştırma olarak yapılmıştır, bu denenle araştırmacı Otomatik Yazı Yazma Değerlendirme kullanımını yazı yazma ders içeriğine entegre etmiştir. Öğrencileri CyWrite kullanarak paragraf ve kompozisyonlarını yazdıktan sonra araştırmacı, öğrencilerin yazdıklarını gramer ve mekanik hatalarına göre incelemiş ve değerlendirmiştir. Bu çalışmada, karma yöntem kullanılmıştır, bu nedenle hem nicel hem de nitel veriler uygulama öncesi ve sonrası testi, uygulama öncesi ve sonrası öğrenci anketleri ve öğrencilerin yazılı ürünleri ile toplanmıştır. Bu çalışmaya, 2016-2017 akademik yılında Ufuk Üniversitesi Hazırlık Okulunda eğitim gören 15 adet İngiliz Dili Eğitimi öğrencisi katılmıştır. Veri analizinde betimleyici istatistik ve iki örnekli t-testi kullanılmıştır. Sonuçlar, bu program tarafından verilen otomatik geribildirimin kısa dönemde öğrenciler için çok faydalıyken CyWrite kullanımının uzun dönemde çok etkili olmadığını göstermiştir. Ayrıca anketlerin sonuçlarına göre, öğrenciler yazma becerilerini geliştirmede bu programı çok etkili ve yararlı bulmuşlardır. Sonuç olarak, yazma değerlendirmesi ve bu bağlamda teknolojisinin kullanımı konusunda yeteri kadar çalışma olmaması nedeniyle, bu çalışma Türkiye'deki İngiliz Dili Eğitimi alanında önemli olabilir.

Written English is an important part of academic success for a language learner, but it is very difficult to learn and improve writing skill with some traditional teaching techniques. Therefore, recently, with the help of Computer-Assisted Language Learning and artificial intelligence technology, Automated Writing Evaluation (AWE) tools have been designed and improved to assist language learners and teachers in teaching and learning writing skill. This study aimed to investigate the effects of the use of an AWE tool (CyWrite) on English as a Foreign Language students' writing skills in the short and long term and find out how it helped them to improve this skill. It also aimed to gain students' perception of written feedback given by their teacher and automated feedback provided by the program. This study was carried out as a classroom-based research, so the researcher integrated AWE usage into her writing course syllabus. After her students wrote their paragraphs and essays by using CyWrite, the researcher analysed and evaluated their written products in terms of grammatical and mechanical errors. In this study, mixed method research was used, so both quantitative and qualitative data were collected through pre- and post-test, pre- and post-implementation student surveys and students written products. 15 ELT students who studied at Ufuk University Preparatory School in 2016-2017 academic year participated in this study. Descriptive statistics and two-sample t-tests were used to analyse the data. The findings demonstrated that the use of CyWrite was not very effective in the long term while automated feedback provided by this tool was very helpful for the students in the short term. In addition, according to the results of surveys, the students found this tool very effective and useful to improve their writing skill. In conclusion, this study may be important in ELT in Turkey because there is not enough study on writing evaluation and technology use in this concept.