Bayesli mantıksal çıkarım çerçevesinde maksimum entropi olasılıklarının analizi

Abstract

Termodinamikte önemli bir rol oynayan ve kısaca belirsizliğin ölçüsü olarak daadlandırılan Entropi kavramı farklı bakış açılarına göre bilim dünyasında çok farklıtanımlara sahiptir. Entropinin Matematik, Istatistik, Fizik, Biyoloji, Finans, Mühendislikve Sosyal Bilimler gibi pek çok bilim alanında görüntü işlemesi, portfolyo seçimi, mal vemülklerin fiyatlandırılması gibi çok geniş uygulamaları bulunmaktadır. Bu tezçalışmasını amacı, herhangi bir olay hakkında ön bilgileri değerlendirerek onlarlailgili birtakım olasılık dağılımlarının atanmasını sağlayan Bayesli Mantıksal Çıkarımınıkullanıp entropi fonksiyonunun maksimize edilmesini incelemek ve maksimumentropinin uygulamalarından bahsetmektir.Bu çalışma beş ana bölümden oluşmaktadır. Birinci bölümde tezin konusu ile ilgilitarihsel süreci de içeren bir alt yapı verilmiştir.İkinci bölüm, üç alt bölümden oluşmaktadır. Birinci alt bölümde klasik olasılık teorisi ile Bayesli olasılık teorisi irdelenerek karşılaştırılır. Bu bölümde olasılık kavramı,özellikleri, Bayesli yaklaşımı sunulmakta ve Bayesli yaklaşımının avantajlarına yerverilmektedir. Ayrıca literatürde sıkça kullanılan önsel dağılımlar hakkında bilgiverilmektedir. İkinci alt bölümde belirsizlik kavramı ve bilgi kuramına değinilerek entropi kavramı ele alınıp Entropinin temel özelliklerinden ve bazı önemli entropiölçülerinden sunulmaktadır. Ayrıca Shannon Entropi Ölçüsü, kesikli ve süreklidağılımlar için entropi kavramları ve bunların ayrı ayrı bileşik, koşullu entropisitanımlarına yer verilip kesikli ve diferansiyel entropi arasındaki ilişki incelenmektedir.Üçüncü alt bölümde ise Bayesli Mantıksal Çıkarımı çerçevesinde maksimum entropiilkesi ayrıntılı olarak incelenmektedir.Üçüncü bölüm, tez boyunca faydalanılan araçlardan ve uygulanan yöntemlerdenoluşmaktadır.Dördüncü bölümde, ikinci bölümde verilen Bayesli Maksimum Entropi Olasılıklarının,gerçek Dünya problemlerine uygulaması verilmektedir. Elde edilen sonuçlar yorumlanırve ileriye dönük çalışmalar hakkında bahsedilmektedir.Beşinci bölümde ise çalışmanın genel bir degerlendirmesi yapılmaktadır

The concept of Entropy which plays an important role and briefly called as themeasure of uncertainty, has quite diversified explanations in the scientific worldaccording to different point of views. Entropy has broad applications such as imageprocessing, portfolio selection, pricing of the goods and chattels in various scientificfields like Mathematics, Statistics, Physics, Biology, Finance, Engineering and SocialSciences. The aim of this thesis is to examine the maximizing of the entropy functionand mention the applications of the maximum entropy by evaluating the prior knowledgeabout any event, using Bayesian Logical Inference which enables the assignment of someprobability distribution concerning this event.This study consists of five main chapters. In the first chapter, an infrastructure has beengiven including the historical process of the subject of the thesis.The second chapter consists of three subsections. In the first subsection, the ClassicalProbability Theory and Bayesian Probability Theory is compared by scrutinizing. Inthis section, the concept of probability, its properties and Bayesian approach is beingpresented and advantages of Bayesian approach is being included. Besides thisinformation is given about the prior distributions used frequently in literature.In the second subsection, the basic features of entropy and some important entropymeasures are presented by mentioning the concept of uncertainty and information theoryand by discussing the entropy concept. Furthermore, Shannon Entropy Measure, entropyconcepts for the discrete and continuous distributions and by including their joint,conditioned entropy definitions, the relation between the discrete and differential entropyis being examined. In the third subsection, maximum entropy principle is examined indetail within Bayesian Logical Inference framework.In the third chapter, we describe the tools and applied methods we use through this thesis.In the fourth chapter, real world application of Bayesian Maximum Entropy Probabilitiesgiven in the second chapter are presented. All of the results are interpreted and the future studies are mentioned.In the fifth chapter, we review the study, in general.