Optimal stochastic approaches for signal detection and estimation under inequality constraints

Abstract

İşaret sezimi ve kestirimi çalışmalarının temelinde, rasgele bir olaya ait gürültülü gözlemler üzerinde işlem gören optimal yöntemlerin tasarlanması yer almaktadır. Sezim problemlerinde amaç, bir takım istatistiksel hipotezler arasında karar verilmesi iken kestirim problemlerinde istatistiksel modele aitbelirli parametrelerin kestirimi gerekmektedir. Her iki durumda da çözüm, sezim (veya kestirim) başarımının ölçüleceği bazı kriterlere dayanır. Sezim ve kestirim kuramının köklü bir alan olmasına karşın, son yıllarda sayısal işaret işleme ve donanım alanlarındaki gelişmeler, pratik hususların daha fazla dikkate alındığı optimal yöntemlerin tasarlanmasına olan ilgiyi artırmıştır. örneğin, toplanır gürültü altında ikili sayıl işaretlerin sezimi konusunda, hata olasılığının verici işaret gücüne bağlı dışbükeylik özelliklerinin analizi sonucunda gürültünün tek doruklu dağılıma (Gauss dağılımı gibi) sahip olduğu durumlarda, hata başarımının işaret gücü rasgeleleştirme/paylaşımı yöntemiyle artırılamayacağı saptanmıştır. öte yandan, gürültünün çok doruklu olduğu ya daGauss gürültüsü altında üç veya yüksek boyutlu işaret yıldız kümelerinin kullanıldığı durumlarda başarımda artışların mümkün olduğu gösterilmiştir. Bu sonuçlardan hareketle tezde, stokastik işaretleme ve sezici rasgeleleştirme kavramlarına dayanan yapısal bir yöntem izlenmekte ve genel gürültü dağılımına sahip kanallar üzerinde çalışan güç kısıtlı iletişim sistemleri için optimal sezim yöntemleri geliştirilmektedir.İlk olarak, alıcıda birden çok sezicinin bulunduğu $M$-li iletişim sistemleri için gönderilen işaretlerin, karar kurallarının ve sezici rasgeleleştirme oranlarının ortak olarak tasarlanması problemine çalışılmaktadır. Alıcıdaki her bir sezici için vericinin işaret yıldız kümesini belirli bir olasılık yoğunluk fonksiyonuna (OYF) göre ortalama bir güç kısıtı altında rasgeleleştirebildiği varsayılmaktadır. (Yani verici, stokastik işaretleme uygulayabilmektedir.) öncelikle, sezicilerde MAP kuralı kullanıldığında, aynı ortamala güç kısıtı ve gürültü istatistikleri altında stokastik işaretleme ileulaşılan ortalama hata olasılığının, sezici rasgeleleştirme ile ulaşılan ortalama hata olasılığından daha düşük olamayacağı gösterilmektedir. Devamında, optimal başarıma deterministik işaretlemeyle çalışan en fazla iki MAP sezicisi arasındaki rasgeleleştirme ile ulaşılacağı kanıtlanmaktadır. Doğru kararbaşarımının sezici rasgeleleştirme yöntemi ile artırılıp artırılamayacağına önceden karar verebilmek maksadıyla yeterli koşullar belirtilmektedir.Literatürde, stokastik işaretleme ve sezici rasgeleleştirme konusundaki çalışmalar Bayes kriteriyle sınırlı kalmıştır. Dolayısıyla bu bölümde Neyman-Pearson (NP) kriteri çerçevesinde, güç kısıtlı bir vericiden gönderilen işaretin sezimlenmesi probleminin dışbükeylik/içbükeylik özellikleri toplanır Gauss gürültüsü altında incelenmektedir. İlk olarak, alfa düzeyli olabilirlik oran sınamasına (OOS) ait sezim olasılığının yaişaret gücünün içbükey bir fonksiyonu ya da işaret gücünün artan değerleri için sırasıyla içbükey, dışbükey ve son olarak içbükey bir fonksiyonu olduğu kanıtlanmaktadır. Bu sonuç temelinde, ortalama ve tepe güç kısıtlı vericiler için optimal ve optimale yakın güç rasgeleleştirme/paylaşım stratejileri önerilmektedir. Benzer bir yöntemle, sezim olasılığının karıştırıcı gücü cinsinden dışbükeylik/içbükeylik özellikleri incelenmektedir. Sonuçlar, sezim olasılığını düşürmek için düşük güçlü Gauss karıştırıcıların aç-kapa zaman paylaşım yöntemini kullanması gerektiğini ortaya koymaktadır.Ek olarak, bir önceki kısımda değinilen analiz herhangi bir gürültü OYF'sine sahip kanallar için genelleştirilmektedir. Daha açık bir deyişle, ortalamayanlış alarm olasılığı ve ortalama verici gücü kısıtları altında sezim olasılığının enbüyütülmesi amacıyla, işaretleme yöntemi ve sezici kuralının ortak tasarımı problemi ele alınmaktadır. Alıcıda tek bir sezicinin olduğu durumda, optimal çözüme var simgesi için en fazla iki işaret değeri arasında rasgeleleştirme yapılarak ve alıcıda buna karşılık gelen NP-türü OOS'nin kullanılmasıyla ulaşılacağı bildirilmektedir. Alıcıda birden çok sezicinin olduğu durumda ise optimal çözüm, deterministik işaretlere karşılık gelen en fazla üç NP-türü OOS arasında rasgeleleştirme uygulanarak elde edilmektedir.Bu aşamaya kadar, işaret sezimi problemlerine odaklanılmaktadır. Tezin devamında ise, gürültü altında parametre kestiriminin doğruluğu ve ölçüm aygıtlarının maliyeti arasındaki ilişkiye değinmektedir. Ilk olarak genel gözlem ve ölçüm istatistikleri altında, ölçümlere ait ortalama Fisher bilgisinin enbüyütülmesimaksadıyla, toplam bütçenin ölçüm aygıtlarına en iyi dağıtımının belirlenmesi amaçlanmaktadır. Yakın zamanda önerilmiş bir ölçüm aygıtı maliyet modeline dayanılarak, belirli bir sezici yapısı varsayılmadan genel bir eniyileme problemi sunulmaktadır. Gauss dağılımlı gözlem ve ölçümlerin olduğu durumlarda çözüm için kapalı formda ifadeler elde edilmektedir.Son olarak, parametre kestiriminin doğruluğu ve ölçüm aygıtlarının maliyeti arasındaki ilişkiye yönelik daha detaylı bir analiz sunulmaktadır. Daha açık bir deyişle, deterministik parametre kestirimi için Gauss gürültüsü altında çalışan doğrusal bir sistem varsayılarak, çeşitli kestirim doğruluğu kısıtlarına dayanan yeni dışbükey ölçüm aygıtı maliyeti enküçültme problemleri önerilmektedir. Toplam maliyetin ölçüm aygıtlarına gürbüz dağıtımı konusu da sistem matrisi için belirli bir hata modeli ele alınarak incelenmektedir. Tersi alınabilen sistem matrisleri için iki kestirim doğruluğu kriteri altında kapalı formda çözümler elde edilmektedir. Sayısal örnekler üzerinden, önerilen eniyileme problemleri karşılaştırılmaktadır. Ek olarak, kestirilen parametrenin Gaussdağılımlı olduğu varsayılarak analizler Bayes çerçevesine taşınmaktadır.

Fundamental to the study of signal detection and estimation is the design of optimal procedures that operate on the noisy observations of some random phenomenon. For detection problems, the aim is to decide among a number of statistical hypotheses, whereas estimating certain parameters of the statistical model is required in estimation problems. In both cases, the solution depends on some goodness criterion by which detection (or estimation) performance is measured. Despite being a well-established field, the advances over the last several decades in hardware and digital signal processing have fostered a renewed interest in designing optimal procedures that take more into account the practical considerations. For example, in the detection of binary-valued scalar signals corrupted with additive noise, an analysis on the convexity properties of the error probability with respect to the transmit signal power has suggested that the error performance cannot be improved via signal power randomization/sharing under an average transmit power constraint when the noise has a unimodal distribution (such as the Gaussian distribution). On the contrary, it is demonstrated that performance enhancement is possible in the case of multimodal noise distributions and even under Gaussian noise for three or higher dimensional signal constellations. Motivated by these results, in this dissertation we adopt a structured approach built on concepts called stochastic signaling and detector randomization, and devise optimal detection procedures for power constrained communications systems operating over channels with arbitrary noise distributions.First, we study the problem of jointly designing the transmitted signals, decision rules, and detector randomization factors for an $M$-ary communications system with multiple detectors at the receiver. For each detector employed at the receiver, it is assumed that the transmitter can randomize its signal constellation (i.e., transmitter can employ stochastic signaling) according to some probability density function (PDF) under an average transmit power constraint. We show that stochastic signaling without detector randomization cannot achieve a smaller average probability of error than detector randomization with deterministic signaling for the same average power constraint and noise statistics when optimal maximum a-posteriori probability (MAP) detectors are employed in both cases. Next, we prove that a randomization between at most two MAP detectors corresponding to two deterministic signal vectors results in the optimal performance. Sufficient conditions are also provided to conclude ahead of time whether the correct decision performance can or cannot be improved by detector randomization.In the literature, the discussions on the benefits of stochastic signaling and detector randomization are severely limited to the Bayesian criterion. Therefore, we study the convexity/concavity properties for the problem of detecting the presence of a signal emitted from a power constrained transmitter in the presence of additive Gaussian noise under the Neyman-Pearson (NP) framework. First, it is proved that the detection probability corresponding to the $/alpha-$level likelihood ratio test (LRT) is either concave or has two inflection points such that the function is concave, convex and finally concave with respect to increasing values of the signal power. Based on this result, optimal and near-optimal power sharing/randomization strategies are proposed for average and/or peak power constrained transmitters. Using a similar approach, the convexity/concavity properties of the detection probability are also investigated with respect to the jammer power. The results indicate that a weak Gaussian jammer should employ on-off time sharing to degrade the detection performance.Next, the previous analysis for the NP criterion is generalized to channels with arbitrary noise PDFs. Specifically, we address the problem of jointly designing the signaling scheme and the decision rule so that the detection probability is maximized under constraints on the average false alarm probability and average transmit power. In the case of a single detector at the receiver, it is shown that the optimal solution can be obtained by employing randomization between at most two signal values for the on-signal and using the corresponding NP-type LRT at the receiver. When multiple detectors are available at the receiver, the optimal solution involves a randomization among no more than three NP decision rules corresponding to three deterministic signal vectors.Up to this point, we have focused on signal detection problems. In the following, the trade-offs between parameter estimation accuracy and measurement device cost are investigateed under the influence of noise. First, we seek to determine the most favorable allocation of the total cost to measurement devices so that the average Fisher information of the resulting measurements is maximized for arbitrary observation and measurement statistics. Based on a recently proposed measurement device cost model, we present a generic optimization problem without assuming any specific estimator structure. Closed form expressions are obtained in the case of Gaussian observations and measurement noise.Finally, a more elaborate analysis of the relationship between parameter estimation accuracy and measurement device cost is presented. More specifically, novel convex measurement cost minimization problems are proposed based on various estimation accuracy constraints assuming a linear system subject to additive Gaussian noise for the deterministic parameter estimation problem. Robust allocation of the total cost to measurement devices is also considered by assuming a specific uncertainty model on the system matrix. Closed form solutions are obtained in the case of an invertible system matrix for two estimation accuracy criteria. Through numerical examples, various aspects of the proposed optimization problems are compared. Lastly, the discussion is extended to the Bayesian framework assuming that the estimated parameter is Gaussian distributed.