Evaluation of deep learning algorithms in sentiment analysis

Abstract

Derin öğrenme teknikleri son zamanlarda pek çok problemin çözümünde önemli bir rol oynamaya başladı. Convolutional Neural Networks (CNN) özellikle görüntü işleme uygulamalarında çok başarılı sonuçlar vermektedir. Recurrent Neural Networks (RNN) ise genelde Doğal Dil İşleme (NLP) uygulamalarında kullanılmaktadır. Duygu analizi son zamanlarda çok poüler bir araştırma alanı olmaya başladı, çünkü insanlar birbirlerinin düşüncelerini merak ediyorlar ve sosyala medyada özgürce düşüncelerini paylaşabiliyorlar. Literatürde, derin öğrenme tekniklerini tek başına veya birden fazla tekniği bir arada kullanan çalışmalar vardır. Bu çalışmada farklı öğrenme metotlarını karşılaştırılmaktadır. Karşılaştırdğımız modeller arasında CNN, Long Short-Term Memory Networks (LSTM), Support Vector Machines (SVM) ve bu modellerin farklı kombinasyonları yer almaktadır. Modellere ilaveten Word2Vec ve Global Vectors for Word Representation (GloVe) gibi kelime vektörleri de karşılaştırılmaktadır. Bu çalışmada dünya çapında en popüler doğal dil işleme organizasyonlarından birisi olan SemEval'ın sağladığı Twitter datası ile duygu analizi yapılmaktadır. Duygu analizi iki temel aşamadan oluşmaktadır. İlk aşamada GloVe veya word2vec ile kelimeler vektöre dönüştürülmektedir. İkinci aşama ise öğretmenli öğrenme aşamasıdır. Bu aşamada, CNN, LSTM, SVM ve kombinasyonları denenmekte ve sonuçları karşılaştırılmaktadır. Ek olarak farklı öğrenme tekniklerinin ayrı ayrı denenip sonuçlarının birleştirilmesi veya farklı öğrenme tekniklerinin daha organik bir yapıda bir arada kullanıldığı modeller de karşılaştırılmaktadır. Bütün kombinasyonların faklı ağırlık ve parametrelerle denenip en iyi sonucu verenler doğruluk yüzdesi (accuracy), kesinlik (precision), hassasiyet (recall) ve F-ölçütü (F-score) açısından karşılaştırılmaktadır.

Deep Learning (DL) techniques have played an important role in the solution of a wide range of problems. Convolutional Neural Networks (CNN) are especially good at image processing tasks. Recurrent Neural Networks (RNN) are usually applied in Natural Language Processing (NLP) tasks. Sentiment analysis has been a popular area of research because people's opinions are important for each other and people have been sharing their opinions in social media freely. In the literature, there are studies that use simple deep learning techniques or their combinations in sentiment analysis. In this thesis, we evaluate different deep learning techniques. The learning models we compare are CNN, Long Short-Term Memory Networks (LSTM), and their ensembles and combinations. Moreover, we use Support Vector Machines (SVM) in a combination. In addition to these models, we compare different word embedding techniques such as Word2Vec and Global Vectors for Word Representation (GloVe) models. We focus on sentiment analysis from Twitter Data provided in Semantic Evaluation (SemEval), which is one of the most popular international workshops on semantic evaluation. Sentiment analysis work consists of two main steps. First phase is the creation of word embeddings, Word2Vec and GloVe models are compared in this step. Second phase is supervised training. Here, we apply CNN, LSTM, SVM, and their various combinations. Additionally, we have compared voting individual results of different learning techniques and their more organic combinations. All these combinations are tried with different weights and parameters, and best scoring values of each model is compared in terms of accuracy, precision, recall, and F-score.