A mathematical model of the causal effects of machine learning algorithms on user behavior

Abstract

Günümüzde makine öğrenmesi algoritmaları teknolojik ürün ve servislerin değismez bir parcası haline gelmiştir. Google, Facebook ve Yahoo gibi bilgi şirketlerinin ürünlerindeki karar mekanizmalarında yaygın halde kullanılmaktadırlar. Bu algoritmalar, kullanıcının online verilerini (ziyaret ettiği web sayfaları, sosyal medya mesajları, baktiği ya da satınaldığı ürünler gibi) kullanarak yaş, cinsiyet, lokasyon, gelir seviyesi ve diğer demografik bilgileri ile ilgili çıkarımlar yapar. Kullanıcıların film, kitap ve diğer ürünlere vereceği potansiyel notlar veya bu ürünlerle ilgili tercihleri tavsiye motorları tarafından bu bilgiler kullanılarak tahmin edilir. Hedefli reklam sistemleri de benzer verileri baz alarak kullanıcının ilgisini çekecek ve tıklama ihtimali yüksek reklamlari seçip gosterirler. Bu şirketlere ait ürünlerin kullanıcı sayıları arttıkça algoritmaların kullanıcılar üzerindeki etkileri daha karmaşık ve önemli hale gelmektedir.Bu tezde makine öğrenmesi algoritmalarının kullanıcı tercihleri üzerindeki etkileri modellenmiştir. Tezde (a) kullanıcı davranış ve tercihlerinin matematiksel bir model ve (b) bu model kullanılarak kullanıcı tercihlerini istenen şekilde değiştirebilecek bir çerceve sistem önerilmektedir. Kullanıcının gözlemlenemeyen iç durumunu birinci derece Markov zinciri kullanarak modelleyen bir durum-uzay modeli geliştirilmistir. Ayrica bu iç duruma bağlı olarak ortaya cıkan gözlemlenebilir kullanıcı hareketleri icin de bir gözlem modeli eklenmiştir. Sistemin tamamı gözlemlerden iç durumu tahmin etmek üzere tasarlanmıştır.Regresyon, sınıflandirma ve tavsiye motorlari gibi makine öğrenme literatüründe iç durumun tahminlenmesi geniş bir şekilde çalışılmıs olsa da bu tez çalışmasının özgün kazanimları şu şekildedir:•Makina öğrenme algoritmalarının kullanıcılar üzerindeki etkileri sebep-sonuc geri bildirim döngüsü ile modellenirken durum-uzay formülasyonu şu sekilde formüle edilmistir: (1) tercih vektörlerinin evrimi, (2) kullanıcı gözlemleri, ve (3) sebep-sonuç geri bildirim döngüsü ile kullanıcı aksiyonlarının sistem üzerindeki ektisi. Bütün sistem parametreleri ortak olarak Genişletilmis Kalman Süzgeçleri ile optimize edilmiştir.•Bilinmeyen sistem parametrelerini tahmin etmek üzere geri bildirimli ve geri bildirimsiz durumlar icin algoritmalar geliştirilmistir.•Kullanıcı tercihlerini istenen bir sekilde ayarlamak icin doğrusal regresyon ve stokastik gradyan inişi çerçevesinde algoritmalar geliştirilmistir. Çıktıların sistemin iç durumunu istenen şekilde ayarlaması literatürde ilk kez yapılmıştır.

Today machine learning algorithms are an integral part of many high-tech products and services. They are extensively used in the decision-making processes in virtually all the products and services of well-known information companies such as Google, Facebook and Yahoo. Typically, users' online history (e.g. web pages visited, social media messages and products viewed/purchased) is used by machine learning algorithms to infer age, gender, location, income level, and other demographics. Then, this information, along with the current context, is used by recommendation engines to predict the `rating' or `preference' that a user would give to items such as to movies, books, research articles, search queries, social tags and products in general. Targeted advertising systems use similar data to serve ads that a user is most likely to notice and take action. As the number of users of these companies increase, the effects of these algorithms on the users are getting more complex and significantly more important. To this end, this thesis models the effects of the machine learning algorithms on user preferences. Specifically, this thesis (a) proposes a mathematical model of the potential effects of machine learning algorithms on users' preferences, and (b) utilizes the insights from this model for proposing a system design framework for altering user preferences in a desired manner. A state-space model is introduced, where the user's internal state of preferences is represented using a first order Markov chain. An additional observation model stage is added to represent observable user actions based on the latent (unobservable) internal state. The complete system is designed to estimate the latent state of the users from observations. Estimation process of the latent internal state is extensively studied in the machine learning literature such as in the regression, classification and recommendation frameworks. However, as novel contributions of this work, the following goals are accomplished: •We model the effects of machine learning algorithms such as recommendation engines on users through a causal feedback loop. We introduce a complete state-space formulation modeling: (1) evolution of preferences vectors, (2) observations generated by users, and (3) causal feedback effects of the actions of algorithms on the system. All these parameters are jointly optimized through an Extended Kalman Filtering framework.•We introduce algorithms to estimate the unknown system parameters with and without feedback. In both cases, all the parameters are estimated jointly. We emphasize that we provide a complete set of equations covering all the possible scenarios.•To tune the preferences of users towards a desired sequence, we also introduce a linear regression algorithm and introduce an optimization framework using stochastic gradient descent algorithm. Unlike all the previous work that only use the observations to predict certain desired quantities, as the first time in the literature, we specifically design outputs to `update` the internal state of the system in a desired manner.