Genellenebilirlik kuramında kayıp veri ile baş etme yöntemleri üzerine bir araştırma

Abstract

Bu araştırmada, G kuramında varyans bileşenlerinin ve güvenirlik katsayılarının kestirilmesi için kullanılan veri setinde kayıp veri olması durumunda; kayıp veri ile baş etme yöntemlerinin karşılaştırmalı olarak incelenmesi amaçlanmaktadır. Bu amaçla 689 kişi, bir test ve dört puanlayıcının olduğu gerçek bir ölçme durumundan elde edilen bir ana veri matrisi kullanılmıştır. Tüm bireyler tüm maddeleri yanıtlamışlar ve tüm puanlayıcılar tüm bireyleri tüm maddelerde puanlamışlardır. Aynı zamanda madde ve puanlayıcı yüzeyleri (facet) random olarak alınmıştır. Bu nedenle veri matrisi çaprazlanmış random bir desen oluşturmuştur. R'da yazılan kodlarla ana veri matrisi %5, %10 ve %20 oranlarında tamamen seçkisiz olarak eksiltilerek normal dağılıma sahip matrisler elde edilmiştir. Ana veri matrisinin özellikleri dikkate alınarak 100 adet veri matrisi simule edilmiştir. Kayıp verili matrisler daha sonra liste bazında silme (LBS), ortalama atama (OA) ve regresyon atama (RA) yöntemleri ile tekrardan tam veri setine dönüştürülmüştür. Verilerin analizinde başlangıçta tam veri setinde G ve K çalışmaları yapılmıştır. G çalışması ile elde edilen varyans bileşenleri kullanılarak G ve Phi katsayıları hesaplanmıştır. Çalışmada ayrıca evren puanı varyansı, mutlak hata varyansı ve bağıl hata varyansı da dikkate alınmış ve yorumlanmıştır. Daha sonra kayıp veri yöntemleri ile tamamlanmış toplamda 100 tekrar üzerinde de aynı analizler yapılmıştır. Her bir kayıp veri oranı ve kayıp veri yöntemi için tekrarlar üzerinden elde edilen G katsayıları, Phi katsayıları, evren puanı varyansları, mutlak hata varyansları ve bağıl hata varyanslarının ortalaması alınmıştır. Farklı oranlarda eksiltilen veri setleri ile tam veri setlerinden elde edilen istatistikler arasındaki sapmalar RMSE (Root Mean Square Error) ve yanlılık ile incelenmiştir.Araştırmanın sonucunda; LBS yöntemi tüm kayıp veri oranlarında referans değerlere en yakın sonucu vermiştir. OA yöntemi tüm kayıp veri oranlarında evren puanı varyansı ve mutlak hata varyansı istatistiklerinde farklılaşmanın en fazla olduğu yöntem olmuştur. Bağıl hata varyansı, G katsayısı ve Phi katsayısı için ise RA yöntemi ana veri matrisinden elde edilen istatistiklerden farklılaşmanın en fazla olduğu yöntem olmuştur. Kayıp veri oranının her koşulu için LBS yöntemi kullanılan veri setlerinde düşük hatalı ve yansız kestirimlerin yapıldığı görülmüştür. Evren puanı varyansı ve mutlak hata varyansı istatistiklerinde en yanlı ve yüksek hataya sahip kestirim OA yöntemi kullanılan veri setlerinde elde edilmiştir. Çalışmaya konu olan diğer istatistiklerde en fazla hataya sahip kestirimler RA yöntemi kullanılan verilerde elde edilmiştir. Bağıl hata varyansına ait yanlılıklar sıfıra çok yakın veya negatif yönlü olarak hesaplanmış ve en yanlı kestirim RA yöntemi kullanılan veri setlerinde elde edilmiştir. G ve Phi katsayısına ait yanlılık değerlerinde en büyük değer pozitif yönlü olarak RA yönteminde hesaplanmıştır. Tüm istatistiklerde ve kayıp veri baş etme yöntemlerinde kayıp veri oranı arttıkça az da olsa hata değerlerinin arttığı gözlenmiştir.Anahtar Sözcükler: Kayıp veri ile Baş Etme Yöntemleri, Genellenebilirlik Kuramı

The aim of this study is to investigate the handling missing datatechniques comparativelyin the case of missing data in the data set used to estimate variance components and reliability coefficients in G theory. For this purpose, a main data matrix was obtained from a real measurement case with 689 people, a test and four raters. All individuals answered all items and all raters scored all individuals in all items. Also item and scoring surfaces (facet) were taken randomly. Therefore, the data matrix has created a crossed-out random pattern. With the codes written in R, the main data matrix was totally randomly decreased by 5%, 10% and 20% and matrices with MCAR mechanism and normal distribution were obtained. In this study, 100 data matrices, in which the characteristics of the main data matrix were taken into account, were simulated. The lost data matrices were then converted back to the complete data set by listwise deletion, mean imputation and regression imputation methods. In the analysis of the data, G and D studies were performed in the full data set at the beginning. G and Phi coefficients were calculated by using variance components obtained by G study. Universe score variance, absolute error variance and relative error variance were also considered and interpreted in the study. Then, the same analysis was performed on a 100 repetition in total, which was completed with missing data methods. For each missing data rate and missing data method, G coefficients, Phi coefficients, universe score variances, absolute error variances, and relative error variances were averaged over 100 repetitions. The results of the analysis were evaluated by comparing the values obtained from the complete data set and the values obtained from the completed data by the missing data methods. The deviations between the data sets that were subtracted at different rates and the statistics obtained from the full data sets were examined by RMSE (Root Mean Square Error) and bias. As a result of the research; The LBS method gave the closest result to reference values in all missing data rates. The mean imputation method was the method with the highest variance in universe score variance and absolute error variance statistics in all missing data rates. For the relative error variance, G coefficient and Phi coefficient, the regression imputation method was the method with the highest difference from the statistics obtained from the main data matrix. For each condition of the missing data rate, it was observed that low error and stable predictions were made in the data sets that listwise deletion method was used in. Estimation with the highest error in the universe score variance and absolute error variance statisticswas obtained from the data sets that the mean imputation method was used in. In the other statistics subject to the study, the estimations with the most errors were obtained from the data using regression imputation method. The biases of the relative error variance were calculated as very close to zero or negative direction and the most biased estimation was obtained from the data sets that the regression imputation method was used in. In the bias values of G and Phi coefficient, the highest value was calculated positively in regression imputation method. It was observed that the error values increased, albeit slightly, in all statistics and in the data missing methods.Keywords: Handling Missing Data Methods, Generalizability Theory