Landmark localization on color coded diffusion anisotropy images using convolutional neural networks

Abstract

İşaretçi tayini, yani belirli bir yapının görüntü içindeki kesin konumunu belirlemek bu çalışmanın amacı olan görüntü çakıştırma işlemleri gibi bir çok bilgisayarlı göru probleminin ilk safhasını oluşturmaktadır. Beyin görüntüleri üzerinde belirli işaretçileri saptamak, işlevsel cerrahide ve nokta bazlı görüntü çakıştırma işlemlerinde başarılması önemli hedefler arasında yer almaktadır. Günümüzde, karmaşık bilgisayarlı görü problemlerinde kullanılabilecek evrişimsel sinir ağ modelleri (ESA) öne geliştirilmektedir. Bu çalışmada, MNI koordinatları bilinen bir noktayı bireyin beyin difüzyon görüntüsünde tespit etmek için ESA tabanlı işaretçi bulucu sunulmuştur. Yüksek heterojeniteye sahip MR difüzyon görüntüleri, özellikle beyaz maddede T1 veya T2 ağırlıklı MR görüntüleri gibi diğer yapısal görüntüleme yöntemlerine göre daha zengin nitelikler sunmaktadır. Sonuçlar göstermektedir ki, beyinde yer alan belirli noktaları bulmak için beynin difüzyon karakteristiğini ESA bazlı bir yöntemle bulmak sürdürülebilirdir ve görüntü çakıştırma yöntemleri için temel oluşturacak potansiyele sahiptir.

Landmark localization, finding exact location of structures in an image is a first stage of many complex computer vision problems. Locating specific landmarks on brain images is one of the stages in defining the target in functional surgery and in estimating point wise correspondence in image registration. Nowadays, various types of convolutional neural networks (CNN) have been proposed that are able to interpret complex computer vision problems. In this study, a CNN based landmark detector is employed to locate specific landmarks at given MNI coordinates, on an individual's diffusion MR brain images. MR diffusion images, with their high degree of heterogeneity, especially in white matter, provide a rich set of features compared to other basic structural images such as T1 or T2 weighted images. Results show that finding a specific point on brain using diffusion characteristics by CNN based model is sustainable and has a potential to be a base for image registration techniques.