Enhancing deep learning models for campaign participation prediction

Abstract

Firmalar müşterileri ile uzun vadeli ilişkiler geliştirebilmek adına iletişim kurarlar. Doğru kitleyi doğru ürünle hedeflemek, müşterilere daha iyi hizmet sunarak şirkete olan bağlılıklarını artırma ve dolayısıyla şirket gelirlerini artırma noktasında kritik önem taşır. Bu nedenle şirketler, çoğunlukla kural bazlı çalışan ve insan uzmanlığına dayalı kampanya yönetim sistemleri oluşturmak için büyük yatırımlar yapmaktadır. Son on yılda öneri sistemleri genellikle müşterilerin beklentilerini anlamak ve tahminlemek amacıyla derin öğrenme gibi modelleme tekniklerini de kullanmaktadır. Klasik derin sinir ağları veri içindeki gizli ilişkileri öğrenmede oldukça başarılıdır (genelleme) ancak hatırlama noktasında daha sınırlı yetkinlikleri vardır.Aslen Google Play uygulaması için tasarlanan Wide & Deep öğrenme modeli Wide ve Deep ağ modellerini tek bir model içerisinde birleştirerek bu soruna çözüm sunmaktadır. Bununla birlikte, bu model, uzman bilgisine ve uzmanlar tarafından birden fazla verinin bir araya getirilmesi ile hazırlanmış girdilere ihtiyaç duyar. Bu tezde, özellikle telekomünikasyon alanında, kampanya katılımı tahmini için Wide & Deep ağ modellerini kullanmayı öneriyoruz. Tez kapsamında, modellerde uzman bilgisine duyulan ihtiyacı ortadan kaldırmak amacıyla, bağımsız değişkenler arasındaki çapraz ilişkileri otomatik olarak oluşturmak için karar ağaclarını kullanan bir yöntem geliştirilmiş ve GSM müşterilerinin kampanya katılımını içeren gerçek veri setleri üzerinde kapsamlı bir değerlendirme yapılmıstır. Yapılan karşılaştırma sonucunda önerilen yöntem ile Wide & Deep model performansının önemli oranda artırılabildiği ve Deep, Wide & Deep modellerden daha iyi sonuçlar elde edildiği gözlemlenmiştir.Ayrıca, kampanya sistemlerinde sadece sınırlı sayıda müşteri erişime izin verildiğinden, kabul edilme ihtimali en yüksek olan tekliflerin müşteriye sunulması kritik önem taşımaktadır. Dolayısıyla, kampanya katılımının başarıyla tahminlenebilmesi hatalı tahminlerden kaçınmayı da gerektirmektedir. Bu nedenle başarısız olup olmayacaklarını tahmin edebilecek ağ modelleri oluşturmak amacıyla araştırmamızı sınıflandırma belirsizliği konusunda genişleterek kanıta dayalı derin öğrenme modellerini çalışmamıza dahil ettik. Sonuçlar, önerilen modelin doğru sınıflandırılmış öğeler üzerinde en düşük belirsizlik değerine sahip olduğunu, yanlış sınıflandırdığı öğeler üzerinde ise daha yüksek belirsiklikle karar vermiş olduğunu göstermektedir.

Companies engage with their customers in order to establish a long-term relationship. Targeting the right audience with the right product is crucial for providing better services to customers, increasing their loyalty to the company, and gaining high profit. Therefore, companies make huge investments to build campaign management systems, which are mostly rule-based and highly depend on business insight and human expertise. In the last decade, recommendation systems usually use modeling techniques such as deep learning to understand and predict the interests of customers. Classic deep neural networks are good at learning hidden relations within data (generalization); however, they have limited capability for memorization. Wide & Deep network model, which is originally proposed for Google Play App. recommendation deals with this problem by combining Wide and Deep network models in a joint network. However, this model requires domain expert knowledge and manually crafted features to benefit from memorization. In this thesis, we advocate using Wide & Deep network models for campaign participation prediction, particularly in the area of telecommunication. To deal with the aforementioned issue with that model, this thesis introduces the idea of using decision trees for automatic creation of combinatorial features (cross-product transformations of existing features) instead of demanding them from human experts. A set of comprehensive experiments on campaign participation data from a leading GSM provider has been conducted. The results have shown that automatically crafted features make a significant increase in the accuracy and outperform Deep and Wide & Deep models with manually crafted features.Furthermore, since a limited number of access to the customers is allowed, making well-targeted offers that are likely to be acceptable by the customers plays a crucial role. Therefore, an effective campaign participation prediction require to avoid false-positive predictions. Accordingly, we extended our research towards classification uncertainty to build network models that can predict whether or not they will fail. Consequently, we adopt evidential deep learning models to capture the uncertainty in prediction. Our experimental evaluation regarding prediction uncertainty has shown that the proposed approach is more confident for correct predictions while it is more uncertain for inaccurate predictions.