Otizm Sosyal Beceriler Profili Ölçeğinde puanlayıcılar arası güvenirliğin klasik test kuramı ve genellenebilirlik kuramına göre karşılaştırılması

Abstract

Bu araştırmada, `Otizm Sosyal Beceriler Profili` (OSBP) ölçeğinin 5 puanlayıcı tarafından puanlanması ile elde edilen puanlara klasik test kuramı ve genellenebilirlik kuramı ile puanlayıcılar arası güvenirlik karşılaştırılması yapılmıştır. Genellenebilirlik kuramında puanlayıcıların birlikte ve dönüşümlü puanlama yapmasıyla oluşturulan farklı desenlerden ve klasik test kuramından elde edilen güvenirlik katsayılarının düzeyleri saptanmış ve hangi kuramın daha fazla bilgi sunduğu belirlenmeye çalışılmıştır. Araştırmanın çalışma grubunu Ankara ilindeki bir özel eğitim ve rehabilitasyon merkezinde eğitim almakta olan 50 otizmli çocuk ve genç oluşturmaktadır. Ayrıca, araştırmada 50 otizmli çocuk ve genci Otizm Sosyal Beceriler Profili ölçeğinin `sosyal karşılıklılık` alt boyutunda yer alan 15 madde doğrultusunda puanlayan 5 puanlayıcı yer almıştır. Elde edilen veriler klasik test kuramında puanlayıcıların iç tutarlılık güvenirliği Cronbach Alfa (α) katsayısı, puanlayıcılar arası güvenirlik Kendall'ın uyuşum katsayısı, puanlayıcılar arası korelasyon katsayısı ve puanlayıcıların verdikleri puanlar arasında fark olup olmadığı ise ilişkili örneklemlerde varyans analizi ile hesaplanmıştır. Genellenebilirlik kuramı kapsamında ise puanlayıcıların bireyleri birlikte ve dönüşümlü puanladıkları iki farklı senaryo üzerinden iki desen tasarlanmıştır. Bireylerin (b) aynı maddeler (m) doğrultusunda puanlayıcıların (p) her biri tarafından puanlandığı b x m x p çapraz deseni ve bireylerin tüm maddeler doğrultusunda farklı puanlayıcılar tarafından puanlandığı ( p : b) x m yuvalanmış deseni için ayrı ayrı G ve K çalışmaları yapılmış ve sonuçlar birbirleriyle karşılaştırılmıştır. Araştırma sonucunda klasik test kuramına göre puanlayıcıların iç tutarlılık güvenirliğini ifade eden Cronbach Alfa katsayılarının yüksek değerler aldığı, ancak puanlayıcılar arası korelasyon katsayılarının ve Kendall'ın uyuşum katsayısının düşük değerler aldığı görülmüştür. Genellenebilirlik kuramı kapsamında çapraz ve yuvalanmış desen için ayrı ayrı hesaplanan G ve Phi katsayılarının kabul edilebilir düzeylerde değerler aldığı, birey ve puanlayıcı ortak etkilerine ait varyans bileşenlerinin her iki desende de toplam varyansı açıklama oranlarının yüksek olduğu görülmüştür. Her iki desende yapılan karar çalışmaları sonucunda güvenirliği artırmak için puanlayıcı sayısını artırmanın, madde sayısını artırmaya göre daha etkili olduğu sonucuna varılmıştır. Elde edilen tüm bu sonuçlara göre, genellenebilirlik kuramının klasik test kuramına göre daha detaylı bilgi verdiği, her iki kuram doğrultusunda Otizm Sosyal Beceriler Profili ölçeğinin otizmli çocuk ve gençlerin sosyal beceri seviyelerini belirlemede güvenilir sonuçlar verdiği ve her iki kuram kapsamında da puanlayıcılar arası tutarlılık düzeyinin düşük olduğu belirlenmiştir.Anahtar sözcükler: Klasik test kuramı, genellenebilirlik kuramı, puanlayıcılar arası güvenirlik, Kendall'ın uyuşum katsayısı, sosyal becerilerin değerlendirilmesi

In this study, interrater reliability was compared based on classical test theory and generalizability theory according to the scores which were obtained from five raters' ratings with Autism Social Skills Profile. Levels of reliability coefficients obtained from classical test theory and different designs in generalizability theory formed by five raters' jointly and alternatively ratings was determined and which theory presented more information was tried to be specified. The research group consists of 50 children and youth with autism who are getting training in a special education and rehabilitation center in Ankara and 5 raters rated them through social reciprocity sub-scale under Autism Social Skills Profile (ASSP). In the classical test theory, Cronbach Alpha (α) coefficient for internal consistency, Kendall's concordance coefficient for interrater reliability and correlation coefficients of five raters' scores were calculated and it was investigated whether there was a difference among the means of raters' scores with F test. In the generalizability theory, two different designs were formed according to raters' jointly and alternatively ratings. Several G and D studies were made for crossed design p x i x r (p: person, i: item and r: rater) which people were scored by all raters through all items and nested design (r : p) x i (p: person, i: item and r: rater) which people were scored by different raters through all items and the results were compared to each other. According to the all obtained scores, in the classical test theory it was seen that Cronbach Alpha (α) coefficients were high values, on the other hand interrater correlation coefficients and Kendall's concordance coefficient were low values. In the generalizability theory, it was seen that, G and Phi coefficients for crossed and nested designs were acceptable values and person-rater common influence variance component had high percentage of the description of total variance in both designs. As a result of D studies in both designs, it was decided that increasing the number of raters had a higher influence on increasing the reliability than the number of items. Consequently, it was obtained that generalizability theory provided more information than classical test theory, ASSP provided reliable results in specifying social skill levels of children and youth with autism and interrater reliability level was low according to classical test theory and generalizability theory. Keywords: classical test theory, generalizability theory, interrater reliability, Kendall's concordance coefficient, evaluation of social skills