Metin tabanlı insan etkileşim ispatı sistemleri için insan hesaplama kullanımı

Abstract

İnsan Etkileşim İspatı (İEİ) testleri, otomatik saldırıları azaltmak için kullanılır. Bu testlerin insanlar tarafından kolaylıkla geçilebildiği fakat bilgisayar veya otomatik programlar tarafından geçilemeyecek şekilde tasarlandığı düşünülmektedir. Güvenlik ve kullanışlılık İEİ'ler için her zaman kritik bir problem olmuştur. Özellikle `erişilebilirlik` bir sistem gereksinimi olduğunda bu ihtiyaçlar daha ön plana çıkmaktadır. İşitsel İEİ'ler ya otomatik olarak çözülebilecek şekilde çok kolay, ya da insanların bile çözemeyeceği şekilde çok zor olup, genellikle meşru kullanıcılarla saldırganları güvenilir bir şekilde ayırt edemezler. Metin tabanlı İEİ'lerin kullanışlılık ve erişilebilirlik özellikleri tam istenilen şekilde olsa bile güvenlik sorunu henüz çözülememiştir. Metin tabanlı İEİ'leri üretmek için tamamen otomatik teknikleri kullanan güvenli bir sistem olmadığı göz önünde bulundurularak, bu tez çalışmasında güvenli şekilde metin tabanlı İEİ üretebilmek için insan hesaplamanın kullanılması önerilmiştir. Bu çalışmada halihazırda kullanımda olan metin tabanlı bir İEİ sisteminin, textCAPTCHA'nın, kullanışlılığı Google'ın reCAPTCHA servisi ile karşılaştırılmıştır. Sonuçlar incelendikten sonra, SMARTCHA adında yeni bir sistem tasarlanmış ve uygulamaya geçirilmiştir. SMARTCHA, insanlar tarafından üretilen İEİ'lerin güvenli olduğunu anlayabilmek için otomatik olarak proaktif kontroller gerçekleştiren bir güvenlik motoru ve İEİ sorularının sayısını artırmak için insan hesaplama ile otomatik yöntemleri birleştiren bir modül içermektedir. Üç adet insan hesaplama çalışması yapılmış ve bu çalışmalarda İEİ operatörlerinden yararlanılmıştır. İEİ operatörleri SMARTCHA sistemi için toplamda yaklaşık 22.000 soru üretmişlerdir. Bu insan hesaplama çalışmalarının yöntemi, verimliliği ve sonuçları detaylı olarak analiz edilmiştir. SMARTCHA sisteminin kullanışlılığı 372 kullanıcının katıldığı geniş bir kullanıcı çalışmasıyla değerlendirilmiştir. Kullanıcılar SMARTCHA'nın metin tabanlı İEİ'lerini çözmeyi görsel reCAPTCHA İEİ'lerini çözmeye göre istatistiksel anlamlı bir şekilde daha eğlenceli bulmuşlardır. Bu çalışmada ayrıca, soru ön filtreleme ve otomasyon teknikleri kullanımının etkileri de incelenmiştir. Sonuçlara göre soru ön filtreleme SMARTCHA testlerinin çözülme süresini kısaltırken, otomasyon teknikleri uygulamak bu süreyi artırmaktadır. 31 adet görme engelli kullanıcı arasında yapılan başka bir kullanıcı çalışması da SMARTCHA'nın erişilebilirlik yönünden değerlendirilebilmesini sağlamıştır. Çalışma sonucuna göre SMARTCHA İEİ'lerini çözmek, yeni sürüm işitsel reCAPTCHA İEİ'lerini çözmeye göre daha eğlencelidir ve daha kısa zaman almaktadır. Her iki çalışma da metin tabanlı İEİ'lerin güvenli, kullanışlı ve erişilebilir İEİ'ler elde edebilmek için gelecek vaat ettiğini göstermektedir.

Human-Interaction Proofs (HIPs) are used to mitigate automated attacks. They are assumed to be easily passed by humans but not by computers or automated programs. Security and usability have always been a critical problem for HIPs, especially when `accessibility` is a system requirement. Audio HIPs usually cannot reliably distinguish attacks from legitimate use; they are either easy, and can be automatically solved, or hard even for humans. Even though purely text-based HIPs have desirable usability and accessibility attributes; they could not overcome the security problems yet. Given the fact that fully automated techniques to generate pure-text HIPs securely do not exist, leveraging human computation for this purpose is proposed in the thesis study. In the study, the usability of a currently used pure-text HIP service, textCAPTCHA, is compared against Google's reCAPTCHA. After analyzing the results, a system called SMARTCHA is designed and implemented. SMARTCHA involves a security engine to perform automated proactive checks on the security of human-generated HIPs and also a module for combining human computation with automation to increase the number of HIP questions. HIP operators were employed in three human computation studies, in which they generated around 22,000 questions in total for SMARTCHA system. The methodology, efficiency and results of these human computation studies are analyzed in detail. The usability of SMARTCHA system is evaluated with a large user study of 372 participants. Users found solving pure-text HIPs of SMARTCHA system significantly more enjoyable than solving reCAPTCHA visual HIPs. The effects of question pre-filtering and use of automation techniques are also evaluated in the study. Results suggest that question pre-filtering reduces solving time of SMARTCHA, whereas applying automation techniques increase it. Another user study among 31 visually impaired users helped evaluation of accessibility. The study results show that SMARTCHA takes less time and is more enjoyable to solve than the new reCAPTCHA audio HIPs. Both studies suggest that pure-text HIPs could be a promising solution for secure, usable and accessible HIPs.