Semi-automatic multimodal web content retargeting system

Abstract

Günümüzde akıllı telefonlar, tablet bilgisayarlar, hatta akıllı televizyonlar giderekdaha güçlü işlemcilere ve hesaplama gücüne kavuşmaktadırlar. Bilgisayarlar tarafındangerçekleştirilen birçok görev, örneğin internet kullanımı bu cihazlarda da aktif olarakgerçekleştirilebilir duruma gelmiştir. Ancak mevcut internet sitelerinin büyük birçoğunluğu masaüstü bilgisayarlarda görüntülenmek üzere tasarlanmıştır. Bu nedenle hercihazın donanımsal özelliklerine uygun web tasarımlarının oluşturulması bir zorunlulukhaline gelmiştir. Ancak her internet sitesinin manuel olarak yeniden tasarlanması çokyüksek miktarda uzman analizi ve maliyet gerektirmektedir. Bu çalışmada, bahsi geçenproblem için yeni bir çözüm olarak, yarı otomatik çok-kipli internet içeriği çeviri sistemigeliştirilmiştir. Geliştirdiğimiz sistem, tek bir web sayfasından, bu sayfanın farklı birplatform için nasıl yeniden tasarlanması gerektiğini, bir uzmanın sözlü tanımlamalarınadayanarak öğrenebilir ve öğrendiği bu modele göre sayfanın farklı örneklerinin yenidendizaynını gerçekleştirebilir. Geliştirdiğimiz sistem literatüre üç temel katkı sağlamaktadır.İlk katkımız, makine öğrenmesi metotlarını kullanarak internet siteleri için çeviri modelleriöğrenebilen modüler bir sistem mimarisidir. İkinci katkımız, öğrendigi modellerikullanarak daha önce görülmemiş sayfaları yeniden dizayn edebilen bir çeviri motorudur.Üçüncü katkımız ise, benzer sistemlerin değerlendirilmesinde kullanılabilecek, 10 farklıweb portalının 300 örneği kullanılarak oluşturulmuş bir veri arşividir. Sistem üzerindegerçekleştirdiğimiz nesnel değerlendirmelere göre, geliştirdiğimiz sistem çeviri modelleriniyüksek bir başarı oranı ile öğrenebilen bir sistemdir. Nesnel değerlendirmelerin yani sıra,gerçek kullanıcılar ile yapmış olduğumuz kullanıcı deneyleri, sistemin kullanılabilirolduğunu göstermiştir.

Non-desktop platforms such as mobile phones, tablets, and connected TVs nowserve as primary means for browsing the web. Unfortunately, much of the existing webcontent has been designed and optimized for desktop viewing. Hence, tailoring the contentfor viewing on multiple platforms with various constraints has become a necessity.However, manual customization for each platform is costly, and not always feasible. In thiswork, we introduce a semi-automatic multimodal web content retargeting system thatworks with minimal assistance of an expert. From a single page, our system learns how aweb portal should be tailored based on verbal and gestural descriptions of a humanoperator, and converts previously unseen pages based on what it has learnt. We have threecontributions. First, we introduce a modular system architecture with a flexible backend forlearning content translation rules from examples using machine learning. Our secondcontribution is a translation engine capable of applying previously learned translation rulesto translate unseen pages. Our third contribution is a large database consisting of 300manually coded web pages from 10 popular portals, which will serve as a benchmarkdatabase for evaluating similar systems in the future. Our discussion is supported byobjective evaluation of the system's ability to learn, and results from a carefully designedusability study demonstrating the effectiveness of the proposed system with real users. Theresults show that our system can learn conversion rules and it is a usable system.