Content analysis of un-structured local internet news websites

Abstract

Günümüz dünyasında veri gerçek güçtür. Veriden en yüksek avantajı sağlamak için analizinin yapılması çok önemlidir. Sosyal olaylar yaklaşık bir asırdan fazla zamandır analiz edilmektedir. Sosyal olayların daha iyi anlaşılabilmesi için yerel bilgi çok büyük önem arzetmektedir. Bölgesel sosyal analiz, yerel Internet içeriklerinin analizi ile rahatlıkla yapılabilir. Bu çalışmada yerel Internet haber sitelerinin analizi ile ilgili metodlar tartışılmıştır. Ayrıca, Türkiye'de bulunan haber web sitelerinin analizine ilişkin Türkçe karakter seti kaynaklı problemler, standart olmayan geliştirme, portal yapıları, site içeriğiyle ilgili olmayan reklam ve yorum içeriklerinden kaynaklı problemlere çözüm sağlanmıştır. Web sitesinin içeriğini filtreleyen ve indeksleyen bir algoritma oluşturulmuştur ve kod geliştirilmiştir. Sonuç olarak kod bir web sitesinde uygulanmış ve çalıştığı ispat edilmiştir.

In today?s world data is a real power. In order to get advantage of the data power, analysis of the data is very important. Social incidents have been analyzed for more than a century. In order to understand social incidents better, data has big importance. Localized social analysis can be easily done by analyzing the local Internet content. In this study methods for analysis of the local news websites are discussed. On the other hand, a solution is introduced to overcome problems of un-structured website designs such as Turkish character set problems, non standard development techniques, unrelated contents such as advertisements and comments. An algorithm and code was developed to filter and index news website content. As a result code was implemented in a website and proved to be running.