E-posta listelerinde metin kümeleme ve sosyal ağ analizi uyumu

Abstract

E-posta listeleri birbirleriyle herkese açık içerikler aracılığıyla iletişim kuran kişiler tarafından ve açık kaynak kod topluluğunca popüler olarak kullanılmaktadır. Bu listeler veri madenciliği için büyük miktarda veri sunmaktadır. Sadece e-postaların içeriklerinin değil, bunun yanında e-posta gönderen bireylerin birbirleriyle bağlantılarının (gönderen alan ilişkisi içerisinde) yapısı da ilgili e-posta alt gruplarının daha önceden gözlemlenmemiş ancak önemli olan bilgilerini ortaya çıkarabilir.Metin kümeleme yapılırken e-posta listelerindeki metinler doküman verisi gibi ele alınarak alt kümeler tespit edilmiştir. Vektör uzay modelinde kelimelerin normalize edilmiş frekansları kullanılarak k-means algoritması ile kümeleme yapılmıştır. Sosyal ağ analizinde ise CONCUR algoritması ile alt kümeler bulunmuştur. Metin madenciliği ile tespit edilen alt gruplar ile sosyal ağ analizinin tespit ettiği alt gruplar arasında aynı sosyal yapıyı dokudukları için benzer küme varlıklarına sahip olmaları beklenmektedir. Bu sosyal yapıda, e-posta göndericilerin genellikle benzer konularda yazdıklarını ve benzer konuların genellikle benzer kişiler tarafından cevaplandığını öne sürmekteyiz. Metin madenciliği ve sosyal ağ analizi metotları teker teker uygulandığında (ör. sosyal ağ analizi için CONCUR, metin madenciliği için k-means) oluşan kümelerin uyumu, kullanılan algoritmalara ve oluşması beklenen küme sayısına göre değiştiği gözlemlenmiştir. Çalışmamızda sosyal ağ analizinin ve metin madenciliğinin tespit ettiği alt gruplar yaklaşık %60 birbiriyle aynı sonucu verdi. Ek olarak uygun olmayan algoritma ve/veya küme sayısı seçildiğinde ise uyumun etkileyici şekilde düştüğü gözlemlenmiştir.

E-mail listings are popularly used in open source community and by individuals that contact each other with publicly reachable contexts. This listings serve vast amounts of data that could be used for data mining. Not only textual context in e-mails but also structure of links between e-mail senders (individuals) could reveal previously unobserved and also important information about related e-mail subgroups.In order to find clusters in e-mail lists, e-mail contents threated as document data. Normalized values of frequences of terms used in vector space model, and k-means algorithm used for clustering the e-mails. CONCUR algorithm is used to find clusters while analysing social network of e-mail lists. It is expected to appear a relation between entities of clusters found by text mining and social network analysis as they weave the similar social subgroupings. At this social structure, we propose that senders mostly write about similar topics, and similar topics are mostly responded by similar senders. When text mining and social network analysis methots are taken one by one (such as CONCUR for SNA and k-means for text mining), it is observed that coherence of resulting clusters depend on used algorithms and number of clusters expected. In our work, coherence of social network analysis and text mining subgroups are matched about %60. In addition, when inappropriate algorithms and/or number of clusters are chosen, results will decrease dramatically.