Using the coh-metrix tool for linguistic analysis of Muğla Sıtkı Koçman University`s preparatory class students` portfolios in order to predict and compare their language proficiency levels

Abstract

Bu çalışma, doğal dil metinlerinin otomatik olarak değerlendirilme olgusunu, yani bu amaçla otomatik dil analizi için Coh-Metrix 3.0 sisteminin kullanımını incelemeyi amaçladı. Çalışma, ilgili konularda kısa bir literatür taraması yapıyor ve Coh-Metrix 3.0 web aracı analizi tarafından sağlanan metriklere kısa bir giriş yapıyor. Çalışmanın ana kısmı, Coh-Metrix sistemi tarafından sağlanan, insan değerlendiriciler tarafından üretilir. CERMAT olarak adlandırılır. Kelime dağarcığı veya kaynaşma gibi derecelendirmenin farklı boyutlarına sahip standartlaştırılmış derecelendirmeyi kullanarak, üretilen puanlarla ilişkili puanlar belirlemeye çalışmaktadır. Hangi Coh-Metrix puanlarının insan puanı ile köreleceğini bulmak için nicel metodoloji, yani Doğrusal Ayırt Etme Analizi uygulanmıştır. Veriler, bir önceki okul yılının hazırlık sınıflarına katılan 60 ingilizce hazırlık sınıfı öğrencisinin denemelerinden ve 17 yeni gönüllü Muğla Sıtkı Koçman Üniversitesi İngilizce Öğretmenliği Bölümünden alınmıştır. Çalışma, sonraki tahmini modellerde istatistiksel açıdan önemli bir rol oynayan en güçlü ayrımcıları tanımlar, bunları öğrencilerin denemelerine doğru puanlar atayabilen tek bir tahmini modelin altında doğruluğu bulmak için kullanır. Çalışmada, nihai tahmin modeli % 60'tan daha yüksek bir doğruluk elde edebildi. Çalışma daha sonra, CEFR'e göre yazma yeterlilik düzeylerini % 70'in üzerinde doğrulukla atamaya çalışmak için tahmini modeli kullanır. Çalışma, çalışma tarihine kadar, Coh-Metrix tarafından sağlanan dilsel analizin değerlendirme amacıyla kullanılmaması ve daha ileri araştırmalar önermesi sonucuna varıyor.

This study aimed to investigate the phenomenon of automated evaluation of natural language texts, namely usage of the Coh-Metrix 3.0 system for automated linguistic analysis for that purpose. The study provides a brief literature review of relevant topics and gives a brief introduction to metrics provided by the Coh-Metrix 3.0 web tool analysis. The main part of the study tries to identify scores provided by the Coh-Metrix system that would correlate with scores produced by human evaluators using standardised grading called CERMAT, which has different dimensions of grading such as vocabulary or cohesion. In order to find out which Coh-Metrix scores would correlate with human scores, quantitative methodology, namely Linear Discriminant Analysis, was implemented. The data was obtained from 60 English preparatory class students' essays and 17 volunteers from ELT department freshmen of Muğla Sıtkı Koçman University who attended preparatory classes in the preceding school year. The study identifies strongest discriminators that play statistically significant role in subsequent prediction models and uses them to find accuracy under which is a single prediction model able to assign correct scores to the students' essays. In the study, the final prediction model could achieve accuracy higher than 60%. The study then uses the prediction model to try to assign levels of writing proficiency according to CEFR with accuracy over 70%. The study concludes that as up to the date of the study, linguistic analysis, as provided by the Coh-Metrix, should not be used for evaluation purposes, and suggests further research.