Duygu analizi problemi için geleneksel ve derin transfer makine öğrenmesi yöntemlerinin karşılaştırılması

Abstract

Elektronik hizmet sektörünün gelişmesi, sosyal medya kullanımının artması ile birlikte kişilerin yorumlarına, düşüncelerine ve duygularına göre hızlı ve doğru analizler yapılarak, kısa zamanda aksiyon planları hazırlamak gerekli bir problem haline gelmiştir. Bu problemin çözümü metin sınıflandırmanın bir alanı olan duygu analizi içerisinde ele alınmıştır. Bu tez çalışmasında e-hizmet sektöründen, sosyal medyadan toplanan veriler için duygu analizi çalışması yapılmıştır. Yapılan çalışmayla amaç Türkçe, İngilizce dillerindeki veri setlerinde geleneksel ve derin transfer makine öğrenme yaklaşımlarının performanslarını incelemektir. Çalışmamızda doğal dil çıkarım alanlarında kullanılan BERT, RoBERTa ve BART model kullanılmıştır. Geleneksel ve derin transfer makine öğrenme yaklaşımlarının başarısını karşılaştırmadaki doğruluğumuzu artırmak amacıyla her iki yöntem için de farklı modeller kullanılarak sonuçlar elde edilmiştir. Geleneksel makine öğrenmesi için TF-IDF ve Doc2vec modelleri ile LR, SVM, KNN ve NB algoritmaları çalıştırılmıştır. Derin transfer öğrenme yaklaşımları için BERT, RoBERTa ve BART modelleri ile sıfır atış algoritması çalıştırılmıştır. Bu tez çalışmasında 3 Türkçe 3 İngilizce olmak üzere toplam 6 farklı büyüklükte veri seti kullanılmıştır. Deneysel sonuçlar incelendiğinde geleneksel makine öğrenmesi yaklaşımlarının derin transfer öğrenme yaklaşımlarına oranla daha başarılı olduğu gözlemlenmiştir. Türkçe veri setlerinde sıfır atış algoritmasıyla BART ve RoBERTa modellerinde yüksek doğrulukta başarı oranları elde edilmiştir. Etiket sayısı arttıkça sıfır atış algoritmasında daha düşük doğruluk sonuçlar elde edildiği gözlemlenmiştir.

With the development of the electronic service sector and the increase in the use of social media, it has become a necessary problem to prepare action plans in a short time by making fast and accurate analyzes according to the comments, thoughts and feelings of the people. The solution to this problem is discussed in sentiment analysis, which is an area of text classification. In this thesis, a sentiment analysis study was conducted for the data collected from the e-service sector and social media. The aim of the study is to examine the performances of traditional and deep transfer machine learning approaches in data sets in Turkish and English languages. BERT, ROBERTa and BART models used in natural language inference were used in our study. In order to increase our accuracy in comparing the success of traditional and deep transfer machine learning approaches, results were obtained by using different models for both methods. For traditional machine learning, TF-IDF and Doc2vec models and LR, SVM, KNN and NB algorithms were run. For deep transfer learning approaches, the zero shot algorithm was run with BERT, ROBERTa and BART models. In this thesis study, a total of 6 different data sets, 3 in Turkish and 3 in English, were used. When the experimental results were examined, it was observed that traditional machine learning approaches were more successful than deep transfer learning approaches. High accuracy success rates were obtained in BART and RoBERTa models with the zero shot algorithm in Turkish data sets. It has been observed that as the number of tags increases, lower accuracy results are obtained in the zero shot algorithm.