Görsel veri madenciliği tekniklerinin kümeleme analizlerinde kullanımı ve uygulanması

Abstract

Veri madenciliği, geniş veri yığınları içerisinde, yararlı olma potansiyeline sahip, aralarında bilinmedik ilişkilerin olduğu verilerin keşfedilerek, veri sahibi için hem anlaşılır hem de kullanılabilir bir biçime getirilmesine yönelik geliştirilmiş yöntemler topluluğudur. Verilerin grafiksel bir formda temsil edilmesi veri yapılarının anlaşılmasını kolaylaştırır. Ancak çoğunlukla veri madenciliği teknikleri büyük miktarda veri yığınlarıyla uğraşırlar ki veri görselleştirme teknikleri ekran çözünürlüğü, insan algı sistemi gibi sınırlardan dolayı çokta başarılı olamayabilirler. Tezde bu gibi sınırları ortadan kaldırabilmek için çeşitli yeni görselleştirme teknikleri tanıtılmış ve bu görselleştirme teknikleri çok boyutlu, büyük miktarda veri kayıtlarına sahip verilerle örneklendirilmiştir. Bu yeni görselleştirme teknikleri küme yapılarının ve aşırı değerlerin keşfedilmesinde kullanılmıştır. Hatta bu görselleştirme teknikleri farklı kümeleme algoritmalarının bulduğu küme sonuçlarını değerlendirmek için de kullanılmıştır.Uygulamada, görsel teknikler kullanılarak Türkiye ilçe veri setindeki aşırı değerler ve küme yapıları tespit edilmiştir. Daha sonra bu ilçe veri seti, tek bağlantılı hiyerarşik, tam bağlantılı hiyerarşik, k-ortalamalar ve SOM gibi çoğunlukla kullanılan dört farklı kümeleme algoritmalarıyla kümelenmiştir. Çoğunlukla kullanılan altı küme doğruluk endeksi uygun küme sayısının tespitinde kullanılmıştır. Son olarak da görsel teknikler küme sonuçlarının değerlendirilmesinde kullanılmıştır. Uygulamada ki sonuçlar göstermiştir ki büyük veri setlerinde kullanılan görsel tekniklerin kümeleme çalışmalarında bulunan araştırmacılara aşırı değerlerin tespitinde, kaliteli küme sonuçlarının üretilmesinde ve uygun kümeleme algoritmalarının seçilmesinde yol gösterebilir.

Data mining is the process of automatically discovering useful information in large data repositories. Data mining techniques are deployed to scour large database in order to find novel and useful patterns that might otherwise remain unknown. Data mining techniques frequently focus on the discovery of unknow structures such a clusters, trends, associations and correalations and other structures for which a visual data analysis is very appropriate quite likely to yield insight. However, data mining techniques are often applied to massive data sets where visualization may not be very successful because of the limits of both screen resolution, human visual system resolution as well as the limits of available computational resources. In this thesis, we present new visual tecniques for overcoming such limitations and illustrate the visual tecniques with some examples of successful challenges on high-dimensional and large data sets. The visual tecniques are applied to detect cluster structures and outliers. Also the visual tecniques are applied to evaluate the results of a number of different clustering algorithms.In practice, cluster structures and outliers in administrative district data set in Turkey are detected by the visual techniques. Then four widely applicable clustering algorithms such as single link hierarchical, complete link hierarchical, k-means and SOM are used to cluster the data set. Six frequently used cluster validity indices are employed to estimate the right number of clusters in the data set. Finally visual tecniques are used to evaluate the results of a number of different clustering algorithms. Our results show that visual techniques let the researcher involve in the clustering process to detect outliers, to generate high-quality clustering results and to choose the right number of cluster algorithms for large datasets