Türkçe tweetlerin analiz edilebilmesi için hadoop/hive kullanan melez bir sistemin geliştirilmesi

Abstract

Günümüzde, tüketiciler, hizmet aldıkları firmalar hakkında beğenilerini ve/veya eleştirilerini e-ticaret sitelerinde veya Facebook ve Twitter gibi sosyal medya ortamlarında paylaşmaktadırlar. Piyasa araştırması yapmak, pazarlama stratejilerini geliştirmek, müşteri memnuniyetini ve firma itibarını ölçmek isteyen firmalar için ise bu paylaşımlar oldukça değerlidir. Bu paylaşımların ayrıca, diğer müşterilerin satın alma davranışını etkilediği ve marka bağlılığını artırdığı da yapılan çalışmalarla ortaya konmuştur.Bilişim ve iletişim teknolojilerinin ucuzlaması ve yaygınlaşmasıyla sayısı giderek artan sosyal yazışmaların analiz edilmesi ise geleneksel veri analizi tekniklerinin sınırlarını aşmıştır. Bunun için gerek verilerin düşük maliyetli bir şekilde ve anlık olarak toplandığı gerekse işlendiği (doğal dil işleme) ve analiz edildiği (duygu analizi) bilgisayar tabanlı sistemlere ihtiyaç duyulmaktadır. Bu çalışma ile işletmelerin kendileriyle ve rakipleriyle ilgili paylaşılan Twitter yorumlarını takip etmelerine ve pazardaki konumlarını periyodik olarak yorumlayabilmelerine imkân sağlayan düşük maliyetli bir uygulama geliştirilmesi amaçlanmıştır. Geniş kullanıcı kitlesi ve yaygın kullanımı dolayısıyla da veri kaynağı olarak Twitter seçilmiştir.Veri kümesi içindeki tüm kelimeler özellik olarak kullanılacağı için veri boyutu çok büyük olacağından, Hadoop kümesi üzerinde Hive betiklerinin koşturulmasına karar verilmiştir. Çalışma kapsamında gerçekleştirilen sistem, özetle dört modülden oluşmaktadır: birinci modül gerekli verilerin periyodik ve otomatik olarak toplanabilmesine imkân vermekte, ikinci modül ile veriler ön işleme tabi tutulmakta; üçüncü ve dördüncü modüllerde ise analiz ve raporlama yapılabilmektedir. Sonuçlar, ilgili sektördeki tüm işletmelerin karşılaştırmalı analizleri ile görselleştirilerek raporlanabilmektedir.

Today, consumers share their appreciation or their criticism about the companies they serve at e-commerce sites or social networks such as Twitter or Facebook. These comments are quite valuable for companies want to do market research, to develope marketing strategies, to measure customer satisfaction and firm reputation. It has also revealed through studies that these comments affect other customers' buying behavior and increase brand loyalty. Analysis of the increasing number of social correspondence with the cheaper and widespread use of information and communication technologies has already exceeded the limits of traditional data analysis techniques. Therefore, it is a need for a computer-based system that the data both at low cost and instantly collected, processed (natural language processing) and analyzed (sentiment analysis).With this study, it has intended to develop a low-cost application which allows businesses to keep track of shared Twitter comments about themselves and their competitors and allows them to periodically interpret their position in the market. Due to its large user base and widespread using, Twitter has been selected as a data source.It was decided to run Hive commands on Hadoop cluster since the data size will be very large for all words in the dataset to be used as properties. The developed system in the scope of the study consists of four modules in brief: the first module allows the necessary data to be collected periodically and automatically, the second module allows pre-processing of the data; analysis and reporting can be done in the third and fourth modules. The results can be reported by visualizing with a comparative analysis of all the firms in the related sector.