Variation of scores in language achievement tests according to gender, item format and skill areas

Abstract

Öğrenciler dil becerileri ve başarıları ile ilgili bilgi edinmek amacıyla değerlendirilirler. Öğrencilerin dildeki yetkinlikleri dışında bazı faktörler sınav skorlarını etkileyebilir. Cinsiyet, soru tipi ve beceri alanları puanlarda farklılaşmaya neden olabilen faktörlerdir ve dolayısıyla puanlara dayanılarak alınan kararları etkileyebilirler. Ancak dil öğrencilerinin başarı puanlarının cinsiyet, soru tipi ve beceri alanlarına veya bu alanların birbirleriyle olan etkileşimlerine göre farklılık gösterip göstermediğini ortaya koyan bir çalışma daha önce yapılmamıştır. Bu çalışma dil öğrencilerinin başarı sınavlarındaki puanlarının cinsiyet, soru tipi (eşleştirme, boşluk doldurma, doğru formu bulma, çoktan seçmeli, açık uçlu, ve paragraph yazma) ve beceri alanlarına göre (okuma, yazma, dinleme, dilbilgisi ve kelime) nasıl farklılık gösterdiğini ve kız ve erkek öğrencilerin puanlarının soru tipi ve beceri alanlarına göre farkılılık gösterip göstermediğini incelemiştir. Araştırma T.C. Kadir Has Üniversitesi Hazırlık Okulu, İstanbul, Türkiye' de gerçeklerilmiştir. Farklı akademik bölümlerden 303 orta düzey öğrenciye verilen ikinci modülün ikinci başarı sınavı incelenmiştir. Verilerin istatiksel incelemesi cinsiyetin öğrencilerin dil başarı sınavlarındaki toplam puanları üzerinde önemli bir etkisinin olmadığını ortaya koymuştur. Ancak öğrencilerin toplam puanları soru tipi ve beceri alanlarına gore önemli ölçüde farkılık göstermiştir. Diğer bir deyişle bir sınavda hangi soru tipi ve beceri alanının test edildiği öğrencilerin puanları soru tipi ve beceri alanına göre değişeceginden fark yaratır. Ayrıca erkek ve kız öğrencilerin puanları da soru tipi ve beceri alanına göre farklılık gösterir. Sonuçlara göre, kız öğrenciler `doğru formu bulma' ve `paragraf yazma' sorularında erkeklerden önemli bir biçimde daha başarılı olmuşlardır fakat erkek öğrenciler herhangi bir soru tipinde bir üstünlük gösterememişlerdir. Ayrıca beceri alanlarına göre, kız öğrenciler `yazma,' `dilbilgisi' ve `kelime' alanlarında erkeklerden önemli bir oranda daha başarılı olmuşlardır, erkek öğrenciler ise `dinleme'alanında kız öğrencilerden önemli bir oranda daha başarılı olmuşlardır. Bu çalışma var olan literature cinsiyet farkılıklarını çalışarak katkıda bulunmuştur. Önceki çalışmaları hem destekleyen hem de onlarla çelişen sonuçları ile bu çalışmanın, dil başarı punalarının cinsiyete, soru tipine ve beceri alanlarina göre farklılaşmasını ilk kez inceleyerek ve erkek ve kız öğrencilerin puanlarını soru tipi ve beceri alanlarına göre ilk kez karşıştırarak litratürde özgün bir yeri vardır. Sonuçlardaki farklılıkları değerlendirirken ve bu farklılıklar ile ilgili tahminlerde bulunurken benimsenen geniş bakış açısı gelecekteki araştırmacılara teorik anlamda, öğretmen ve yöneticilere ise pratik anlamda fayda sağlayacaktır.

Students are assessed to collect information on their language ability or achievement. Some other factors as well as the proficiency level of a student may play a role in their language achievement scores. Gender, item format and skill areas are the factors that may cause variation in the scores, hence affecting the decisions made through these scores. However, there has not been a study that reveals if achievement scores of language learners vary depending on gender, item format or skill areas or the interaction among these factors. This study investigated how language learners scores in language achievement tests vary according to gender, item format (matching, fill in the blanks, find the correct form, multiple choice, open ended, and paragraph writing) and skill areas (reading, writing, listening, grammar, and vocabulary); and whether the male and females? scores vary according to item format and skill areas. The research was conducted at T.C. Kadir Has University Preparatory School, Istanbul, Turkey. The second achievement test of the second module administered to 303 pre-intermediate level students from different majors was analyzed. The statistical analysis of data revealed that gender does not have a significant effect on the total scores of the students in language achievement tests. On the other hand, students? total scores vary significantly depending on both the item format and skill areas in the test. In other words, it makes a difference which item format or skill area is used in a test because students? scores change according to the type of the item form and skill areas. Males? and females? mean scores also show differences depending on both item format and skill areas. According to the findings, females outperform males significantly in two item formats; `find the correct form? and `paragraph writing? questions, whereas males do not show any superiority in any item format. Also, in skill areas, females outperform males in three skill areas; `writing,? `grammar? and `vocabulary? while males score higher only in one skill area; `listening.? This study contributed to the existing literature by having studied gender differences. With results both confirming and contradicting the previous research, the present study has a unique place in the language testing literature by looking at the variation of scores according to three variables; gender, item format and skill areas, that have been studied together for the first time, and comparing males? and females? scores in terms of item format and skill areas again for the first time. The wide spectrum adopted while evaluating the differences in the results, and speculations made about these differences can benefit both future researchers in the field in terms of theoretical perspectives, and teachers and administrator in terms of practical perspectives.