Detecting disguised missing data

Abstract

Bazı uygulamalarda kayıp veriler NA gibi özel kodlarla belirgin bir biçimde ifade edilirken, bir çok uygulamada veri aslında kayıpken veri tabanına geçerli ya da geçersiz veriler olarak kaydedilir. Bu tür kayıp verilere gizli kayıp veri denilir. Gizli kayıp veriler veri analizinin kalitesini etkiler. Örnegin, KDD-Cup-98`de kullanılan verilerde bulunan birliktelik kurallarında analiz öncesi veri kalitesi yönetim uygulaması ihtiyacı açıkca gösterilmiştir. Bu tezde, gizli kayıp veri sorununu çözmek için gömülü yansız örneklem buluşsali (YÖB) incelenmiş, kusurları gösterilmiş ve Ki-kare iki örneklem testi üzerine kurulu yeni bir yöntem önerilmiştir. Bu yöntem hiç bir alan bilgisine ihtiyaç duymamaktadır ve YÖB'den daha iyi performans göstermektedir.

In some applications, explicit codes are provided for missing data such as NA (not available) however many applications do not provide such explicit codes and valid or invalid data codes are recorded as legitimate data values. Such missing values are known as disguised missing data. Disguised missing data may affect the quality of data analysis negatively, for example the results of discovered association rules in KDD-Cup-98 data sets have clearly shown the need of applying data quality management prior to analysis. In this thesis, to tackle the problem of disguised missing data, we analyzed embedded unbiased sample heuristic (EUSH), demonstrated the methods drawbacks and proposed a new methodology based on Chi Square Two Sample Test. The proposed method does not require any domain background knowledge and compares favorably with EUSH.