Tensor decomposition models for knowledge graphs

Abstract

Üçlüler(varlık-ilişki-varlık) biçiminde ifade edilen gerçekleri kullanarak yeni ve bilinmeyen gerçekler çıkarsamak popüler bir istatistiksel ilişkisel öğrenme görevidir ve bilgi grafiği bağlantı tahmini problemi ismi ile tanımlanır. Problem tanımının doğası gereği mevcut veri setlerini temsil etmek için tensörler yaygın olarak tercih edilmektedir. Varlıklar ve ilişkiler için saklı özelliklerin varlığında, orijinal veri kümesi tensörüne yaklaşmak için tensör ayrıştırma modelleri kullanılır. Varlıkların ve ilişkilerin bu saklı özellikleri, yaklaşım sırasında kestirilir/çıkarsanır ve aralarındaki etkileşim, üçlülerin varoluş olasılıklarını ortaya çıkarır.Bu tez çalışmasında, bilgi grafik problemlerinde kullanılmak üzere, yakın zaman önce tanıtılan Toplam Koşullu Poisson Ayrıştırması'nın tensör uzantısını önermekteyiz. Genelleştirilmiş Doğrusal Modeller'e alternatif olarak Toplam Koşullu Poisson Ayrıştırması değer aralığı sınırlı olan veriyi, toplamları üzerinden koşullandırılmış L bileşen Poisson Ayrıştırması ile modellemek için kullanılabilir. Standart parametreleri ayrıştıran Genelleştirilmiş Doğrusal Modeller'den farklı olarak, Toplam Koşullu Poisson Ayrıştırması doğrudan moment parametrelerini ayrıştırır. Bilgi grafiği problemi için toplamları birler tensörüne koşullanmış iki Poisson tensör ayrıştırması tanımlamaktayız. Beklenti Enbüyütme ile en büyük olabilirlik kestirimi, varyasyonel çıkarsama ve Gibbs örneklemesi ile ise Bayesci çıkarsama sunuyoruz. Toplam Koşullu Poisson Ayrıştırması modellerinin öngörü performanslarını, standart veri kümeleri (Nation, UMLS, ve Kinship) üzerinde, en ileri Genelleştirilmiş Doğrusal Model olan Lojistik Tensör Ayrıştırması'nın performansıyla karşılaştırmaktayız.

Extracting new unknown facts from given facts in the format of triples(entity-relation-entity) is a popular statistical relational learning task and defined with the name of knowledge graph link prediction problem. Due to nature of the problem definition, tensors are widely preferred to represent existing datasets. In the presence of latent features for entities and relations, tensor factorization models are used to approximate to the original dataset tensor. These latent features of entities and relations are estimated/inferred during approximation and interaction between them reveals the probabilities of triple existences.In this thesis, we propose the tensor extension of recently introduced Sum Conditioned Poisson Factorization, in order to use it in knowledge graph problems. Sum Conditioned Poisson Factorization is an alternative to Generalized Linear Models and can be used to model bounded data with L component Poisson Factorizations which are conditioned on their summation. Unlike GLMs which factorize canonical parameters, SCPF decomposes directly the moment parameters. For knowledge graph problems, we define two Poisson tensor factorizations by conditioning their summation to a tensor of ones. We introduce maximum likelihood parameter estimation with Expectation Maximization and Bayesian inference with variational inference and Gibbs sampling. We compare the predictive performance of SCPF models with the performance of state of the art Generalized Linear Model, Logistic Tensor Factorization on standard datasets (Nation, UMLS, and Kinship).