Computer aided puzzle assembly based on shape and texture

Abstract

Anahtar Kelimeler: Dizilim problemi, kırık arkeolojik parçaların geri çatılması,imge genişletme, Fourier tabanlı imge çakıştırmaArkeolojik parçaların birleştirilmesi ve onarılması, kırık nesnelerin tamiri,parçalanmış dokümanların yeniden oluşturulması ve hatta moleküler kenetlenmeninçözümlenmesi genel olarak dizilim problemine dayanmaktadır. Görüntü işlemededizilim; geometri ve doku olarak birbiriyle ilişkili parçaların birleşerek en iyi bütünüortaya çıkarması olarak tanımlanmaktadır. Bugüne kadar dizilim problemi üzerindeyapılan çalışmalar sadece geometrik şekil bilgisine dayalı olarak ele alınmış, parçacıklarüzerindeki görsel bilgi kullanılmamıştır.Bu bildiride daha önceki eğri uyumlama yöntemlerine dayalı geometrikyaklaşımlardan farklı olarak hem resim hem geometri bilgisinin kullanıldığı bir çalışmasunulmaktadır. İlk aşamada parçaların etrafındaki bir bantta doku öngörüsüyapılmaktadır. Öngörülen bu dokudan elde edilen özniteliklerden bir uyum ölçüsübulunmakta ve parçaların birbirlerine birleştirilmeleri Fourier tabanlı imge çakıştırmayöntemleri kullanılarak çözülmektedir. Geliştirilen yöntemler yapay ve gerçek datalarüzerinde sınanarak performansları incelenmiştir. Bu çalışmanın ana katkıları şu şekildeözetlenebilir:⢠Doku ve şekil bilgisine dayalı olarak dizilimin başarımını sayısal olarakortaya koyan bir performans ölçütü geliştirilmesi⢠Dizilim probleminin Fourier metodları kullanılarak çözülmesi

Keywords: Puzzle assembly, reconstruction of the artifacts in archaeology,expanding images, Fourier based image registrationPuzzle assembly?s importance lies into application in many areas such asrestoration and reconstruction of archeological findings, the repairing of broken objects,solving of the jigsaw type puzzles, molecular docking problem, etc. Puzzle piecesusually include not only geometrical shape information but also visual information oftexture, color, continuity of lines, and so on. Moreover, textural information is mainlyused to assembly pieces in some cases, such as classic jigsaw puzzles.This research presents a new approach in that pictorial assembly, in contrast toprevious curve matching methods, uses texture information as well as geometric shape.The assembly in this study is performed using textural features and geometricalconstraints. First, the texture of a band outside the border of pieces is predicted byinpainting and texture synthesis methods. The feature values are derived by theseoriginal and predicted images of pieces. A combination of the feature and confidencevalues is used to generate an affinity measure of corresponding pieces. Two newalgorithms using Fourier based image registration techniques are developed to optimizethe affinity. The algorithms for inpainting, affinity and Fourier based assembly areexplained with experimental results on real and artificial data.The main contributions of this research are:⢠The development of a performance measure that indicates the level of success ofassembly of pieces based on textural features and geometrical shape.⢠Solution of the assembly problem by using of the Fourier based methods.