Görüntü işleme yöntemleri ile yüzey üzerine oyulmuş karakterlerin tanınması

Abstract

Günümüzde nesne tespit etme, nesne tanımlama, nesne sınıflandırma ve nesne takip etme problemleri için görüntü işleme algoritmaları ve bilgisayarlı görme içerisinde yapay zeka algoritmaları sıklıkla kullanılmaktadır. Nesnelerin tanınması probleminde çözme hızı ve başarı hassasiyet faktörleri dikkate alınarak yeni yöntemler sürekli olarak geliştirilmektedir.İmalat sektöründe preslenerek şekil verilen metal parçalar üzerinde, tanımlanabilmeleri için marka, model ve seri numarası gibi bir çok amacı bulunan karakterler (harf, numara) ve semboller yer almaktadır. Bu karakterler ve semboller, bulundukları yüzey üzerine oyulmuş veya kabartılmış şekillerde bulunmaktadır. Tez kapsamında metal yüzeyler üzerine oyulmuş karakterlerin sınıflandırılması için çalışma gerçekleştirilmiştir. Bu kapsamda, dairesel küçük çaplı metal cisimlerin yüzeyleri üzerinde oyulmuş halde bulunan karakterlerin sınıflandırılması için 2 farklı yaklaşımda bulunulmuştur. Öncelikle gürültülerin giderilmesi amacıyla gri seviyedeki ham görüntülere Laplacian of Gaussian (LoG) filtresi uygulanmıştır. Ardından dairesel biçimdeki metal cisimlerin daire sınır çizgilerini bilerlemek amacıyla Canny kenar tespit algoritması uygulanmış ve elde edilen kenar haritasına Dairesel Hough Dönüşümü (DHD) uygulanarak en dış, orta ve iç daire sınır çizgileri çizilmiştir. İç daire sınır çizgisinin içinde kalan bölge ön karakter bölgesi olarak belirlenmiştir. İlk yaklaşımda, belirlenen ön karakter bölgesine Daugman'nın Rubber Sheet (DRS) modeli uygulanarak polar kartezyen dönüşümü yapılmıştır. Daha sonra dikdörtgen haldeki karakter bölgesi resmine Gabor filtresi uygulanmış ve sonucunda faz bilgisi elde edilmiştir. Faz bilgisine Ortalama Mutlak Sapma tekniği uygulanarak karakter bölgesine ait özellik vektörü elde edilmiştir. Son olarak ikili (binary) formata dönüştürülerek XOR operatörü ile şablon eşleştirme yapılmıştır. İkinci yaklaşımda ise, yine belirlenen ön karakter bölgesine Maksimum Kararlı Ekstrimal Bölgeler (MSER) ve Kontür Genişliği Dönüşümü (SWT) algoritmaları uygulanmış ve karakter segmentasyonu gerçekleştirilmiştir. Segmente edilen karakter görsellerine yapay zekanın derin öğrenme yaklaşımlarından olan Evrişimli Sinir Ağları (ESA) kullanılarak tasarlanan model uygulanarak karakterler tanınmıştır. Karakter tanınması sağlanan dairesel metal cisimlerin aynı zamanda nesne sınıflandırma problemi çözülmüştür. Her iki yaklaşımda elde edilen başarı değerleri, doğruluk yüzdeleri ve işlem süreleri karşılaştırmalı olarak tezin sonuçlar bölümünde verilmiştir.

Nowadays, object detection, object recognition, object classification and object tracking problems solve with image processing algorithms and commonly used in computer vision which is artificial intelligence algorithms. New methods are constantly being developed by considering the speed of solving problems and success sensitivity factors in the recognition of objects.The sample metal products that shaped by press machine in manufacturing sector, these products includes characters (letter, number) or symbols that can be classified as brand, model and serial number. These characters are found in engraved or embossed forms on their metal surface. In this thesis, work was done for engraving characters on metal surfaces. In this context, two different approaches have been made for the classification of engraved characters on the surfaces of circular small diameter metal objects.Firstly, the Laplacian of Gaussian (LoG) filter was applied to the gray level raw images in order to eliminate the noise. Then, Canny edge detection algorithm was applied in order to sharpen the circle boundary lines of metal objects, and then, outermost, middle and inner circle boundary lines were drawn by applying Circular Hough Transform (CHT) to the obtained edge map. The region inside the inner circle boundary line is determined as the pre-character region.In the first approach, the polar cartesian transformation was performed by applying Daugman's Rubber Sheet (DRS) model to the specified pre-character region. Then, Gabor Filter (GF) was applied to rectangular character region image and phase information was obtained as a result. The characteristic vector of the character region was obtained by applying the Mean Absolute Deviation technique to the phase information. Finally, the binary format has been converted for pattern matching with the XOR operator.In the second approach, Maximally Stable Extremal Regions (MSER) and Contour Width Transformation (SWT) algorithms were applied to the determined pre-character region and character segmentation was performed. The characters were recognized by applying the model designed by using Convolutional Neural Networks (CNN), one of the deep learning approaches of artificial intelligence, to segmented character images. At the same time, the classification problem of circular metal objects with character recognition is solved. Obtained performance metrics of both approaches that include accuracy rate and average processing times are given in the results section of the thesis.