Comparison of machine learning with lexicon-based approaches for sentiment of arabic student feedback

Abstract

Duygu analizi, makine öğrenme ve sözlük tabanlı yaklaşımlar için önemli bir araştırma alanı olmuştur. Günümüzde, doğruluk, kolay kullanım ve ön koşul gibi etkenler arasında hangi yaklaşımın seçilmesi üzerine az araştırma vardır. Bu çalışmada, farklı öğrencilerden, dersler hakkında ne hissettiklerini belirten Arapça geri bildirimler topladık. Araştırma, makine öğrenme ve sözlük tabanlı yaklaşımların her ikisinin de problem çözmede iyi şeçenekler olduklarını gösteriyor. Makine öğrenme iyi olabilir ancak, kullanıcı doğru algoritmayı ve eğitim setini bulmalıdır. Genel olarak, ticari sunumun yüksek doğruluğu ve kolay kullanımı vardır. Sözlük yaklaşımında doğrulukta zıt değerler veren yöntemler kullandık. Bu araçlardan biri, Arapça duygusal sözlük olan, yüksek doğruluk veren, ArSenL üzerine kuruludur. İkinci araç olan Lexican, o kadar yüksek doğruluk göstermeyen Lexalytics'dir; yüksek doğruluk gösterememe nedeni, Arapça sözlüğünün Arapça'daki tüm sözcükleri içermemesidir. Makine öğrenme, eğitim setine bağlı olarak daha az doğruluk göstermekte ve bir model kurabilmek için daha çok zaman ve gayret gerektirmektedir.

Sentiment analysis has become an important area of research for machine learning and lexicon-based approaches. Currently there is little research to determine which approach is better across several factors, such as accuracy, ease of use and pre-requisites. In this research, we collect feedback from different students, in Arabic, expressing their feelings about the courses. The research shows that both machine learning and lexicon-based are good ways of solving the problem. Perhaps a dedicated algorithm is best, but requires initial work in setting up. Machine learning can be good but the user needs to find the right algorithm and training set. Overall, the commercial offering has high accuracy and ease of use. We use methods in the lexicon approach that give contrast values of accuracy. One of these tools is based on the ArSenL (Arabic sentiment dictionary), which produces high accuracy. The second tool of Lexicon is Lexalytics that displays not so high accuracy because its dictionary of Arabic language does not cover all Arabic words. Machine learning gives less sentiment accuracy depending on the training data and it needs time and effort to build a model.