Genellenebilirlik kuramı tek ve çok değişkenli analizlerinde dengelenmemiş desen karşılaştırması

Abstract

Bu çalışmanın amacı, genellenebilirlik kuramının tek değişkenli ve çok değişkenli analizlerini, dengelenmemiş desen üzerinde karşılaştırmaktır.Araştırmada; müzik öğretmenliği özel yetenek seçme sınavı verilerinden simüle edilen 100 veri seti kullanılmıştır. Gerçek veri setinin ses ile ilgili alt testleri analize dahil edilmiştir. Veri setleri 500 birey, üç alt test ve dört puanlayıcıdan oluşmaktadır. Çift ses alt testinde altı, üç ses alt testinde dört ve dört ses alt testinde iki madde bulunmaktadır. Her bir alt testteki madde sayısı farklı olduğu için dengelenmemiş desen ile analizler yapılmıştır. Birey (b), madde (m), alt test (a) ve puanlayıcı (p) olmak üzere; tek değişkenli analizler için b x (M:A) x P deseni, çok değişkenli analizler için b● x Mο x P● deseni kullanılmıştır. Yapılan genellenebilirlik çalışmaları ile varyans değerleri, karar çalışmaları ile G ve Phi katsayıları elde edilmiştir.Genellenebilirlik çalışmalarında, en yüksek varyans değerinin birey varyansına ait olması beklenir. Çift ses alt testinin, üç ses alt testinin ve birleşik testinen yüksek varyans değeri birey varyansıdır. Ancak iki maddeden oluşan dört ses alt testinin en yüksek varyans değeri, artık varyansa aittir. Bu alt testteki madde sayısının yeterli olmadığı görülmüştür. Genellenebilirlik kuramı dengelenmemişdesen karar çalışmalarında, genellenebilirlik (G) katsayısı ve güvenirlik (Phi) katsayısının çok değişkenli analizde daha yüksek bulunduğu görülmüştür. Tek değişkenli analizde birleşik test için G katsayısı 0.904, Phi katsayısı 0.887 bulunmuştur. Çok değişkenli analizde G katsayısı 0.915 ve Phi katsayısı 0.909 olarak hesaplanmıştır. Birleşik test için yeterince genellenebilir ve güvenilir sonuçlara ulaşılmıştır. Alt testlerden oluşan ölçme aracı kullanıldığında, çok değişkenli analizler, tek değişkenli analizlere göre daha avantajlı görülmektedir. Her iki analiz için; farklı senaryo durumlarında yapılan karar çalışmalarından elde edilen sonuçlarabakıldığında, G ve Phi katsayılarının artması için madde sayısını arttırmanın yeterli olmadığı, en uygun puanlayıcı sayısına da karar vermenin önemli olduğu görülmüştür.

This study aims to compare univariate and multivariate analyzes of generalizability theory by using an unbalanced design. In the present study; 100 data sets, which were simulated from music teaching special talent selection exam data, were used. The different voice of subtests of the real data set were included in the analysis.. Each dataset consisted of 500 individuals, three subsets, and four raters. The double voice test consisted of six items, the three voice subtests consisted of four items and four voice subtests consisted of two items. An unbalanced design was used to analyze the number of items in each subset was different. For univariate analyses individual (b), item (m), subtest (a) and rater (p); b x (M:A) x P pattern was used while b● x Mο x P● pattern was used for multivariate analyses. The variance values were obtained based on previous generalizability studies. The G and Phi coefficients were obtained by decision studies. Ingeneralizability studies, the highest variance value is expected to be derived from the individual variance. However, the highest variance value of the four voice subtests consisting of two items derived from residual variance. It was observed that the number of items in this subtest was not sufficient. In decision studies withunbalanced designs of generalizability theory, it was observed that the generalizability (G) coefficient and reliability (Phi) coefficient were higher in themultivariate analysis compared to univariate analysis. In univariate analysis, the G coefficient for the combined test was 0.904 and the Phi coefficient was 0.887. In multivariate analysis, the G coefficient was calculated as 0.915 and the Phi coefficient as 0.909. Based on these results, it was concluded that generalizable and reliable results were obtained for the combined test. Multivariate analyzes were more advantageous compared to univariate analyzes when a measurement tool with subtests was used. Overall, based on the results of decision studies it can be concluded that increasing the number of items would not be sufficient to increase the G and Phi coefficients in both analyses. Thus, it is also important to decide the appropriate number of raters for more reliable and generalizable results.