Adscope: Intelligent scoping of paid search campaigns using relevance feedback

Abstract

Bu tez çalışmasında, arama motoru bazlı pazarlama kampanyaları için AdScope adında yarı-denetimli bir çevirimiçi araç sunulmaktadır. AdScope herhangi bir kampanya için kazançsız olan kullanıcı sorgularını elerken, aynı zamanda kazanç sağlayabilecek kullanıcı sorgularını eklemek için de kullanılabilir. AdScope kullanıcı sorgularını ilişkili ve ilişkisiz olmak üzere iki ayrı kategoride sınıflandırmak için ilişkili geri bildirim bilgisini kullanır. İlişkisiz (non-relevant) olarak işaretlenen sorgular kampanyanın kapsamı dışında bırakılır; ileride bu sorgu cümleleri kullanıcıya tekrar gösterilmez ve sorgulanmaz. İlişkili (rele- vant) olarak işaretlenen sorgular ise kampanyaya ait anahtar kelimeler olarak dahil edilir. Sorguları işaretlemek için iki ayrı ilişkili geri bildirim kaynağı kullanılır. Bu kaynaklar- dan biri, tıklama sonucu elde edilen kullanıcı geri bildirimi ve kullanıcının oturumu satın alma aksiyonu ile bitirmesidir. Bu bilgiler reklam sağlayıcı tarafından arama sorgusu kayıtlarında tutulur. Reklamcı geri bildirimi interaktif bir şekilde elde edilir. Bu amaçla, reklamcının işaretlenmemiş sorguları işaretleyebileceği aktif bir öğrenme adımı tasarlan- mıştır. Bu adımda elde edilen geri bildirim, Bayes eşitliği kullanılarak sınıflandırma modeline gerçek zamanlı olarak entegre edilir. Yapılan performans testlerinde, en az iki tane kelime içeren sorgular için, AdScope %89.25 sınıflandırma doğruluğu göstermiştir. Ayrıca reklamcı geri bildirimleri kullanılarak bu sistem tarafından önerilen sorgu seçim- lerinin değerlendirilmesinde, Fleiss' Kappa skoru ile üç ayrı yorumcunun büyük ölçüde aynı fikirde olduğu saptanmıştır.

In this thesis, we propose a semi-supervised online tool called AdScope for search engine marketing. AdScope can be used for filtering out unprofitable user queries from the search campaign while at the same time allowing profitable queries only. AdScope uses relevance feedback for classifying user queries broadly into two categories as relevant or non-relevant. All queries labeled as non-relevant are excluded from the search campaign; no ad is shown to a user posing an excluded query in the future. All queries labeled as relevant are included in the search campaign as regular campaign keywords. In order to label queries, two sources of relevance feedback are used: user feedback comes in the form of clicks and conversions which are available in the search query log provided by ad broker. Advertiser feedback is collected interactively. For this purpose, we designed an active learning step where advertiser is asked to label a selected set of unlabeled queries. The feedback received is incorporated into the classification model in real time using Bayesian update. In performance tests, we observed that AdScope had the highest classification accuracy of 89.25% for queries that contain at least two terms. Furthermore, three domain experts agreed substantially with a Fleiss' agreement score of 0.79 on the selections made by our actively learning system.