The english test in TEOG (Transition examination from primary to secondary education-tepse): Content validity and English language teachers` views

Abstract

Tüm dünyada eğitimin en önemli dinamiklerinden bir tanesi sınavlardır ve bunların bazıları İngilizce sınavlarını da içermektedir. Türkiye'de, liseye hazırlanan öğrenciler için uygulanan İngilizce sınavlarına ilk kez 2008 yılında SBS'de yer verilmiş ve 2013 yılında bu sınav TEOG ile yer değiştirmiştir. Bu sınavların etkileri incelenmiştir fakat -bilindiği kadarıyla- geçerlilik ve güvenirlik gibi dil değerlendirmesinin diğer ilkeleri araştırılmamıştır. Bu yüzden, bu çalışma 2015-2017 yılları arasında uygulanan TEOG İngilizce testlerinin içerik geçerliliğine ilişkin öğretmen görüşlerinin yanı sıra bu dönemlerde yapılan testlerin içerik geçerliliğini araştırmayı hedeflemiştir. 2015-2017 yılları arasında yapılan TEOG İngilizce sınavları, ders kitabı ve 21 İngilizce öğretmeniyle yapılmış olan yarı yapılandırılmış görüşme veri toplamak için kullanılmıştır. Sık kullanılan kelime ve yapılar açısından TEOG İngilizce sınavlarının ve ders kitabının analizleri TEOG İngilizce sınavları ve ders kitabı arasındaki uyumu ortaya koymak için karşılaştırılmıştır. Bunun yanında, TEOG İngilizce sınavları ve MEB tarafından belirtilen ünite kazanımları arasındaki uyumu incelemek için belirtke tablosu kullanılmıştır. Dokümanlardan ve görüşmelerden elde edilen veriler, sık kullanılan kelimeler/ yapılar açısından TEOG İngilizce sınavları ve ders kitabı arasında bir uyum olduğunu ortaya koymuştur. Ancak, üniteler ve kazanımlar arasında bazı uyumsuzluklar vardır ve bazı TEOG İngilizce sınavlarında soruların ünitelere dağılımı eşit değildir. Bu da, kapsam geçerliliğini olumsuz etkileyebilmektedir. Bazı uyumsuzluklar, eşit olmayan dağılımlar ve dört dil becerisinin ihmaline rağmen, 2015-2016 ve 2016-2017 dönemlerinde yapılan TEOG İngilizce sınavlarının ders kitabı ile uyumu açısından içerik geçerliliği vardır.

One of the most important dynamics of the educational setting all over the world is examinations, and some of those are English tests. In Turkey, one of the English tests for the students preparing for the high schools was TEPSE. The effects of these exams have been investigated; however, other principles of language assessment such as validity and reliability have not been investigated based on the analysis of documents. This study, therefore, aimed to investigate the content validity of the English tests in TEPSE, which were conducted from 2015 to 2017 based on both documents and language teachers' views. TEPSE English tests from 2015 to 2017, the coursebook, and semi-structured interviews held with 21 English language teachers were used to collect data. The analyses of TEPSE English tests and the coursebook were compared based on the frequently used items to reveal the consistency between them. Moreover, table of specifications was used to examine the alignment between TEPSE English tests and the functions of the units. The results revealed that there was an alignment between TEPSE English tests and the coursebook based on the frequently used items. However, there were some inconsistencies between the functions and the units, and distribution of the questions on the units was not equal in some TEPSE English tests, which might affect content validity negatively. Despite some inconsistencies, unequal distributions, and neglecting four language skills, TEPSE English tests between 2015-2016 and 2016-2017 have content validity based on the alignment between the coursebook and TEPSE English tests.