A social media big data mining framework for detecting sentiments in multiple languages

Abstract

Sosyal medya platformlarının popülaritesi yeni bir sosyal etkileşim ortamı yaratmış ve böylece bireyler arasında yeni bir işbirliği ağı oluşturmuştur. Bu platformlar; kullanıcı davranışları ve duyguları hakkında yoğun miktarda veriye sahiptir. Bu platformlardan biri araştırmacılara çalışmalarında verilerinden yararlanma potansiyeli sunan Twitter'dır. Twitter verilerine dayanarak, bu çalışmada Avrupa Gayri Safi Ülke Mutluluğunu (GSÜM) hesaplamak için çok dilli bir duygu algılama uygulama çerçevesi önerilmiştir. Bu uygulama çerçevesi, yeni bir veri toplama, filtreleme ve örnekleme yöntemini ve sosyal medya büyük verileri için çok dilli bir duygu algılama algoritmasını sunmakta ve 9 Avrupa ülkesinin (İngiltere, Almanya, İsveç, Türkiye, Portekiz, Hollanda, İtalya, Fransa ve İspanya) 6 yıllık verisi ve ulusal dillerinde test edilmiştir. Verilerin güvenilirliği, Wikipedia'daki özel günler için en yüksek/düşük duygu seviyesi karşılaştırmasıyla kontrol edilmiştir. Geçerlilik ise OECD Yaşam Memnuniyeti anket raporları, döviz kurları ve ulusal borsa verilerinin bir grup korelasyon analizi ile kontrol edilmiştir. Sonrasında, 6 yıllık dönem için Avrupa GSÜM haritası çizilmektedir. Son olarak, keşif amaçlı bir çalışma kapsamında, kullanıcıların Twitter hesabı özellikleri (tweet sayısı, takipçi sayısı vb.) ve mutluluk polariteleri arasındaki ilişkiler analiz edilmiştir. Bu çalışmanın temel amacı, ülkeler için GSÜM'yi hesaplamak ve OECD tipi kuruluşların anket ve görüşme yöntemini değiştirmek için yeni bir çok dilli sosyal medya duygu analizi çerçevesi sunmaktır. Ayrıca, bu çerçevenin daha ayrıntılı sonuçlar verebileceğine inanılmaktadır (örneğin, toplumun farklı dillerde günlük ya da saatlik duyguları).

The popularity of social media platforms has generated a new social interaction environment thus a new collaboration network among individuals. These platforms own tremendous amount of data about users' behaviors and sentiments. One of these platforms is Twitter, which provides researchers data potential of benefit for their studies. Based on Twitter data, in this study a multilingual sentiment detection framework is proposed to compute European Gross National Happiness (GNH). This framework consists of a novel data collection, filtering and sampling method, and multilingual sentiment detection algorithm for social media big data, and tested with nine European countries (United Kingdom, Germany, Sweden, Turkey, Portugal, Netherlands, Italy, France and Spain) and their national languages over six-year period. The reliability of the data is checked with peak/troughs comparison for special days from Wikipedia. The validity is checked with a group of correlation analyses with OECD Life Satisfaction survey reports', currency exchanges, and national stock market time series data. Then, the European GNH map is drawn for six years. Lastly, an exploratory study for determining the relationships between users' Twitter account features (number of tweets, number of followers etc.) and happiness polarities are analyzed. Main aim of this study is to propose a novel multilingual social media sentiment analysis framework for calculating GNH for countries and change the way of OECD type organizations' survey and interview methodology. Also, it is believed that this framework can serve more detailed results (e.g. daily or hourly sentiments of society in different languages).