Computational aesthetics using machine learning for video game camera direction

Abstract

Hesaplamali estetik, hesaplamali yaklasimlari, estetik deger üretimi ve degerlendirmesi için kullanan gelismekte olan bir konudur. Bu tez kapsaminda, bilgisayar tarafindan olusturulan görüntülerin görsel estetik kalitesinin hesaplamali estetik kullanilarak iyilestirilmesi hedeflenmektedir. Uygun bir makine ögrenmesi algoritmasi seçilmis ve çevrim içi olarak toplanmis bir takim görüntüler üzerinde egitilmistir. Egitilen model kullanilarak gerçek zamanli grafiklerin estetik kalitesi öngörülerek buna bagli sanal kamera konumunun degistirildigi yenilikçi bir kamera yönetim yöntemi gelistirilmistir. Önerilen bu yöntemin etkin olabilmesi için yüksek ve düsük kalite olarak siniflandirma yerine görüntülere estetik kalite degerleri veren bir regresyon analizi uygulanmistir. Anlamsal baglam ile ilgilenmek yerine estetik çekiciligi etkileyen renk dagilimlari ve kompozisyon özellikleri kullanilmis ve daha çabuk estetik puan öngörüsü yapilabilmesi için estetik dayanaklarini da gözeterek daha hizli ve verimli öznitelikler seçilmistir. Mevcut bazi öznitelikler iyilestirilmis ve regresyon analizine uygulamak üzere uyarlanmistir. Estetigin ileri seviyede öznel bir konu olmasi sebebiyle karmasikligi azaltmak adina bu çalismada sadece dis mekan sahneleri ve manzara görselleri hedeflenmistir. Öte yandan önerilen yöntem egitim verisinin degistirilmesi ile farkli ortamlar için de genisletilebilir. Makine ögrenmesi modelinin öngörü performansi önceki çalismalar ile kiyaslandiginda çok dikkat çekici olmamakla beraber, konunun ihtiva ettigi zorluklar ve kisitlamalar dikkate alindiginda yine de ümit verici bir sekilde `sanal` bir kamera yönetmeni vasitasi ile neredeyse gerçek zamanli estetik analiz ve görsel iyilestirme yapilmasinin mümkün oldugunu göstermistir.

Computational aesthetics is a developing field which employs computational approaches either for generating or evaluating aesthetic values. In the scope of this thesis, visual aesthetic quality of computer generated images was aimed to be improved using a computational aesthetics approach. An appropriate machine learning algorithm was selected and trained on a set of reference images collected online. Using the trained model, a novel video game camera direction method predicting the aesthetic quality of the real-time graphics and changing the virtual camera position accordingly was developed. In order for the proposed approach to be effective, a regression analysis assigning aesthetic quality values to images was utilized instead of high and low quality classification. Rather than dealing with semantic context, color distribution and compositional properties affecting aesthetic appeal were preferred and to make quicker aesthetic score predictions, faster and more efficient features were selected, considering their aesthetic foundations. Some of the existing features were improved, and some were tailored to be applied to regression analysis. Aesthetics being a highly subjective topic, only outdoor scene and landscape visuals were targeted in this work in order to reduce complexity. The proposed method on the other hand, can be extended to other environments by changing the training data. The prediction performance of the machine learning model was not very significant when compared to the previous works, yet promising considering the challenges and limitations involved and showed that a near-real time aesthetic analysis and visual improvement was possible through a `virtual` camera director.