Handwritten text recognition using deep learning

Abstract

El yazısı karakter tanıma, bilgi çıkarma ve insan-bilgisayar etkilerini uygulamaları da dahil olmak üzere çeşitli gelişmiş uygulamalar için önemli bir temel sağlayan yapay zeka uygulamalarından biridir. Bu tez, el yazısı metninin dijital bir forma çevrilebilmesi için tek bir el yazısı karakterini sınıflandırmaya çalışır. Tam bir kelimeyi veya metni sınıflandırmak için, öncelikle yapılması gereken adım metin satırlarının doğru algılanmasıdır. A4 boyutunda taranmış bir belgenin orijinal görüntüsünü bölerek metin satırlarının eğrilik açısına göre tüm metin satırlarını algılayabilen bir metin satırı algılama sistemi geliştirilmiştir. Metin satırlarında yer alan her bir harf görüntüsü tespit edilerek daha sonra tanınması için derin öğrenme ağına giriş olarak verilir. Derin öğrenme ağının eğitim aksaması için kamuya açık bir veri setiyle birlikte kullanılan ve her bir harfin 2200 görüntüsünü içeren kendi el yazımızdan oluşturulmuş bir veri kümesi de hazırlanmıştır. Yapay sinir ağının eğitimi için toplamda 26 x 7800 = 202, 800 adet resim kullanılmıştır. MATLAB kullanılarak taranan bir dokümanı görüntü biliminde alabilen ve metin satırları algılaması, harf tespiti ve harf tanıma sonuçlarını verebilen bir GUI sistemi tasarlanmıştır. Çeşitli belge türlerindeki farklılıklara ve içerdikleri gürültüye bağlı olarak istenilen sonucu elde etmek için farklı parametre de ayarlanabilmektedir.Anahtar Kelimeler: Yapay zeka, Derin öğrenme, Derin öğrenme, Makine öğrenme, El yazısı karakter tanıma, MATLAB.

Handwritten alphabet recognition is one of the Articial Intelligence applicationswhich provides important fundamental for various advanced applications, including informationretrieval and human-computer interaction applications. This thesis seeks toclassify an individual handwritten character so that handwritten text can be translatedto a digital form.To classify a complete word or text, the rst and foremost step is the accuratedetection of text lines. A text line detection system is developed which can detect alltext lines based on the skew angle of text lines by dividing the original image of anA4 size scanned document. Individual alphabets are detected from each text line at alater stage to give the input to a deep neural network for recognition.A dataset of our own handwriting is also prepared that includes 2200 images ofeach alphabet, which is mixed with another publicly available dataset for the trainingphase of the deep learning network. A total of 26 7800 = 202; 800 images are usedfor the training of the neural network.A GUI system using MATLAB is developed which can input a scanned documentin image form, and can give an output of text lines detection, alphabet detection andalphabets recognition. A set of dierent parameters can also be changed to get thedesired output depending upon the variations in dierent types of documents.