Image annotation using deep learning and semantic web technologies

Abstract

Bu tezde, görüntü açıklama alanında görüntü tanımı çıkarımını içeren bilişsel görev için hibrit bir çözüm önerilmektedir. Sinir Ağları ile ilgili önceki çalışmalar çoğunlukla doğru etiketleri seçmeye ve/veya bir resmi tasvir etmek için ilgili etiketlerin sayısını artırmaya odaklandı. Ancak, bir resmi tanımlamak için bir dizi ilgili etiket oluşturmak ve bu resmi cümleler yoluyla tasvir etmek yapısal, sözdizimsel ve anlamsal olarak tamamen farklı olgulardır.Bu çalışmada spor alanındaki görüntülerin kontrollü bir ortamda doğal dil tanımlarını oluşturan bir çerçeve sunulmaktadır. Yaklaşımımız, görüntülerin cümle açıklamalarını oluşturmak için Yapay Zeka ve Ontolojilerden yararlanmaktadır. Geliştirilen çerçeve, derin öğrenme modellerinin ve ontoloji sınıflarının örneklerinden türetilen hizalı açıklama sonuçlarının yeni bir kombinasyonunu sunmaktadır.

In this thesis, we propose a hybrid solution for the cognitive task of generating image descriptions in the image annotation domain. Previous work on Neural Networks mostly focused on choosing the right labels and/or increasing the number of related labels to depict a picture. However, creating a set of related labels to describe a picture and depicting that picture through sentences are completely different phenomena, structurally, syntactically, and semantically.We present a framework that generates natural language descriptions of images in the sports domain within a controlled environment. Our approach leverages Artificial Intelligence and Ontologies to generate sentence descriptions of images. Our framework presents a novel combination of deep learning models and aligned annotation results derived from the instances of the ontology classes.