Çoklu puanlanan ölçeklerde Angoff, ROC ve sınır grup yöntemleri ile kesme puanının belirlenmesi

Abstract

Bu araştırmada, üniversite öğrencilerinin kaygı düzeylerini belirleyen bir ölçeğin Angoff, ROC ve Sınır Grup yöntemleri kullanılarak kesme puanının belirlenmesi ve bu puana göre yüksek/düşük kaygı sınıflama uyumunun incelenmesiyle geçerlik çalışmalarına katkıda bulunmak amaçlanmıştır. Araştırma çoklu puanlanan, geçerlik ve güvenirlik çalışması yapılmış bir ölçeğe yeni bilgiler eklenmesi nedeniyle temel araştırma niteliğindedir. Araştırma grubunu bir devlet üniversitesinin eğitim fakültesinde öğrenim gören ve Kamu Personeli Seçme Sınavı'na katılacak olan 290 öğrenci oluşturmaktadır. Veri toplama amacı ile öğrencilere Sürekli Kaygı ve Sınav Kaygısı Ölçekleri uygulanmıştır. Kaygı durumu ile ilgili kesme puanını belirlemek için rehberlik ve psikolojik danışmanlık alanında görev yapan 10 yargıcının kararına başvurulmuştur. Bu araştırmadan elde edilen bulgular, Angoff ve ROC analizi ile hesaplanan kesme puanlarının (48 ve 48.5) birbirine çok yakın olduğunu göstermiştir. Angoff ve Sınır Grup yöntemleri ile belirlenen kesme puanlarına göre yüksek/düşük kaygılı kabul edilen öğrenci yüzdeleri arasında manidar bir fark (c2(sd=1)=100.11, p.05) olduğu sonucuna ulaşılmıştır. Angoff ve Sınır Grup yöntemlerine göre belirlenen kesme puanlarının güvenirlik kanıtı olarak yargıcılar arası uyum katsayısı incelenmiştir. Sınır Grup yöntemine göre kesme puanı belirlendiğinde sınıf içi korelasyon katsayısının orta düzeyde (r=.53), Angoff yöntemine göre belirlendiğinde ise iyi düzeyde (r=.65) olduğu sonucuna ulaşılmıştır. ROC analizine göre hesaplanan kesme puanının, öğrencilerin kaygı düzeylerini sınıflamadaki doğruluk oranı araştırılmıştır. Araştırmada elde edilen AUC (eğri altında kalan alan) değerine göre Sürekli Kaygı Ölçeği'nin yüksek ve düşük kaygılı bireyleri %73 oranında (orta düzeyde) doğru sınıflandırabildiği sonucuna ulaşılmıştır. ROC analizi ile geçerlik kanıtı olarak pozitif ve negatif yordayıcı değerler hesaplanmıştır. Ölçeğin tanı koymak yerine tarama amacıyla kullanıldığı göz önünde bulundurulduğundan kaygı düzeylerini yüksek olasılıkla belirleyebildiği görülmüştür. Sonuç olarak bu araştırmada çoklu puanlanan bir psikolojik ölçme aracının kesme puanının belirlenmesinde ROC analizi kullanıldığında diğer yöntemlerde olmayan duyarlılık, özgüllük ve pozitif/negatif yordayıcı değerlerinin bulunması daha ayrıntılı ve nesnel bilgiler sağlamıştır.

In the present study, it is aimed to contribute to validity studies by determining the cutoff point of an inventory measuring university students' anxiety levels with Angoff, ROC, and Borderline methods and by examining high/low anxiety classification according to this point. The study is regarded as a basic research because new data have been added to a multi-scoring inventory whose validity and reliability studies were previously performed. The research group consists of 290 students who study at the education faculty of a state university and who will take the public personnel selection examination. Trait Anxiety and Test Anxiety Scales were applied to the students. 10 referees working in the field of guidance and psychological counseling were asked to determine the cut-off score related to anxiety. Findings obtained from this study show that the cutoff scores (48 and 48.5) calculated by Angoff and ROC analyses are very close to each other. It is concluded that there is a meaningful difference in the percentages of students who are considered to be high/low anxious according to the cutoff points determined by Angoff and Borderline methods (c2(sd=1)=100.11, p.05). The consistency coefficient among the judges was examined to prove the reliability of the cut-off points determined by Angoff and Borderline methods. When the cut-off point was determined according to borderline method, intra-class correlation coefficient was found to be at moderate level (r =.53) and when it was determined according to Angoff method, it was found to be at good level (r =.65). The accuracy of the cutoff score calculated according to the ROC analysis in classifying anxiety levels of the students was investigated. According to the AUC (area under the curve) value obtained in the study, it is seen that the Trait Anxiety Inventory could correctly classify high and low anxious individuals at the rate of 73% (moderate level). Positive and negative predictive values were calculated to prove the validity by ROC analysis. It is shown that the scale is quite likely to determine anxiety levels when it is considered that it is used for screening rather than diagnosis. To conclude, the study indicates that when ROC analysis was used to determine the cutoff score of a multi-scoring psychological measuring instrument, such characteristics as sensitivity, specificity, and positive/ negative predictive values that other methods do not have provided more detailed and objective information.