Pre-election polls in Turkey

Abstract

Seçim anketlerinin sayısı geçtiğimiz on yıllar boyunca önemli ölçüde artmıştır. Bu artışa sadece metodolojik ilerlemeler ve zorluklar değil, anket tahminlerinin doğruluğuna ve bazı siyasi partiler veya adaylar lehine tarafsızlığı konusunda şüpheler ve eleştiriler de eşlik etmektedir. Metodolojik zorluklar ve artan eleştiriler, anket doğruluğuna ve kalitesine yönelik bilimsel çalışmaları pek çok ülkede artırmış olsa da Türkiye'de seçim anketlerle ilgili bilimsel çalışmalar kısıtlıdır. Bu tez, 2011 ve 2019 yılları arasında Türkiye'deki genel, cumhurbaşkanlığı ve belediye başkanlığı seçimlerinin resmî duyurularından sonra yapılan toplam 374 seçim anketini inceleyerek literatürdeki boşluğu doldurmayı amaçlamaktadır. CNN Şeffaflık Endeksi'nin anket değerlendirme aracı olarak kullanıldığı bu çalışma, incelenen anketlerde raporlama pratiklerinin ve anket tasarımlarının bilimsel standartları takip etmediğini ve birçok anketin hesaplanan anket hatasından (rastgele örnekleme varsayımına göre) daha yüksek hata değerine sahip olduğunu göstermektedir. Anket doğruluğu ile ilgili önceki çalışmalar, anketlerin anketlenmesinin örneklem büyüklüğünü artırarak ve farklı yönlerdeki hataları azaltarak daha kesin tahminler ürettiğini göstermektedir. Seçim anketlerinin raporlanması ve anket tasarımları bilimsel standartları karşılamamasına rağmen (i) örneklem büyüklüğüne, (ii) revize edilmiş CNN skoruna ve (iii) anket şirketinin deneyimine dayalı olarak tahminler ağırlıklandırıldığında anketlerin anketlenmesinin oldukça faydalı bir tahmin aracı olduğu gösterilmiştir. Bu bağlamda ampirik bulgular teorik beklentilerle aynı doğrultudadır.

The number of pre-election polls has considerably increased in the last decades. Such an increase is accompanied not only by methodological advances and obstacles but also by skepticism and criticism about the precision of the estimates and biases in favor of particular political parties or candidates. While scholarly interest in poll accuracy and quality has also grown considerably in many countries, scholarly work on pre-election polls in Turkey are scarce. This thesis aims to fill this gap by examining a total of 374 pre-election polls conducted after the official announcement of the general, presidential, and mayoral elections in Turkey that took place between 2011 and 2019. Using a revised CNN Transparency Index as a survey quality assessment tool, I find that reporting practices, as well as the designs of the pre-election polls, do not follow scientific standards in the examined cases, and many polls have larger errors than their calculated margins of error (assuming random sampling). Prior work on the poll accuracy suggests that poll aggregation produces more precise estimates by increasing the sample size and reducing errors in different directions. Although pre-election polls do not follow scientific standards, pooling the polls together by weighting the estimates based on (i) sample size, (ii) revised CNN score, and (iii) pollster experience provides a useful forecasting tool for election outcomes in line with theoretical expectations.