Comparisons of behaviorally Anchored Rating Scales, Graphic Rating Scales, and Modified Graphic Rating Scales in student evaluation of instructors

Abstract

öz ÖĞRETİM ELEMANI PERFORMANSI DEĞERLENDİRMESİNDE KULLANILAN DAVRANIŞ ODAKLI DEĞERLENDİRME ÖLÇEĞİ (DODÖ), GRAFİK DEĞERLENDİRME ÖLÇEĞİ (GDÖ) VE GELİŞTİRİLMİŞ GRAFİK DEĞERLENDİRME ÖLÇEKLERİNİN (GGDÖ) KARŞILAŞTIRMASI Ok, Afife Başak Yüksek Lisans, Psikoloji Bölümü Tez Yöneticisi: Doç. Dr. H. Canan Sümer Haziran 2001, 168 sayfa Bu çalışmanın amacı, öğrencilerin öğretim elemanı performansı değerlendirmesinde kullanılacak üç farklı değerlendirme ölçeğini psikometrik özellikleri ve kullanıcı tepkileri açısından karşılaştırmaktı. Farklı formatları temsil eden üç değişik öğrenci değerlendirme ölçeği, Davranış Odaklı Değerlendirme Ölçeği (DODÖ), Grafik Değerlendirme Ölçeği (GDÖ) ve Geliştirilmiş Grafik Değerlendirme Ölçeği (GGDÖ), geliştirildi ve Orta Doğu Teknik Üniversitesinde uygulandı. Hipotezler DODÖ ve GDÖ ile karşılaştırıldığında, GGDÖ'nün hale ve cömertlik etkisine daha az açık olacağı ve daha fazla `hemfikir geçerliğine` sahip olacağı ve ayrıca bu üçfarklı format içinde DODÖ'nün kullanıcılar (değerlendiriciler) tarafından daha fazla kabul göreceği doğrultusundaydı. Çalışma iki aşamada tamamlandı. Birinci aşamada DODÖ, GDÖ ve GGDÖ geliştirildi. Çalışmanın ikinci aşamasında ise üç format 395 kişilik bir öğrenci örneklemine uygulandı ve hipotezler test edildi. İki hipotezi de desteklemeyen sonuçlar elde edildi. Psikometrik açıdan GGDÖ, DODÖ ve GDÖ'den üstün bulunmadı ve kullanıcı tepkileri açısından DODÖ diğer formatlara göre üstün bulunmadı. Ancak, GGDÖ ve DODÖ ile karşılaştırıldığında, GDÖ'nün hem psikometrik özellikleri hem de kullanıcı tepkileri açısından biraz daha etkili olduğu görüldü. Bu sonuçlar değerlendirme ölçekleri üzerinde yapılan çalışmalarla tutarlı görünmektedir. Sonuç olarak, geliştirilme aşaması diğerlerine göre daha az zaman alan iyi geliştirilmiş bir GDÖ'nün daha güvenilir ve geçerli sonuçlar verebileceği söylenebilir. Anahtar Kelimeler: Davranış Odaklı Değerlendirme Ölçeği, Grafik Değerlendirme Ölçeği, Geliştirilmiş Grafik Değerlendirme Ölçeği, hale etkisi, cömertlik etkisi, hemfikir geçerliği, kullanıcı tepkileri. VI

ABSTRACT COMPARISONS OF BEHAVIORALLY ANCHORED RATING SCALES, GRAPHIC RATING SCALES, AND MODIFIED GRAPHIC RATING SCALES IN STUDENT EVALUATION OF INSTRUCTORS Ok, Afife Başak M.S., Department of Psychology Supervisor: Associate Prof. Dr. H. Canan Sümer June 2001, 168 pages The purpose of this study was to compare and contrast three different rating scales to be used in students' evaluations of instructors in terms of psychometric properties and user reactions. Three different student evaluation scales representing different formats, a Behaviorally Anchored Rating Scale (BARS), a traditional Graphic Rating Scale (GRS), and a Modified Graphic Rating Scale (MGRS), were developed and evaluated in Middle East Technical University (METU). It was hypothesized that (1) the MGRS would yield less halo, less leniency, and more consensually valid results than would the BARS and the GRS formats, (2) and among these three formats the BARS would receive the most favorable reactions from the users (i.e., raters). IllThe study was conducted in two phases. The first phase involved the development of the BARS, the GRS, and the MGRS. The second phase of the study involved the administration of all three formats to a sample of 395 students and hypotheses testing. Results failed to support both hypotheses. That is, the MGRS format was not found to be psychometrically superior and the BARS format was not found to be superior in terms of user reactions. However, the GRS format appeared to be slightly superior to both the BARS and the MGRS in terms of its psychometric properties and user reactions. These findings seemed to be somewhat consistent with the studies conducted on rating formats. It seemed plausible to conclude that a well-developed GRS, which requires investment of much less time, expertise, and effort, could yield psychometrically sound, user-friendly ratings. Keywords: Behaviorally Anchored Rating Scales, Graphic Rating Scales, Modified Graphic Rating Scales, halo, leniency, consensual validity, user- reactions. IV