Online handwritten mathematical expression recognition

Abstract

Ë ËşËCEVRIMICI EL YAZISIşËËMATEMATIK IFADE TANIMAHakan BuyukbayraküOzetBu şalışma kalem ile giriş yapılabilen tablet PC, PDA, dışarıdan bağlanan kalemlics s s gpadler, elektronik yazı tahtaları gibi aygıtlarda yazılan elyazısı matematik denklem-lerin algılanmasını sağlayacak sistemin isterlerini ve parşalarını ele almaktadır.g cMatematik ifadeleri tanıyabilecek bir sistem integral, bülüm, ustler, indisler,ou ükarekükler, toplam sembolü vs. gibi matematiksel yapıları tanıyabilmelidir. Kağıto u guzerine kalem ile yazarak bu yapıların hepsini kolayca belirtmemiz mümkün olduğuü uu ghalde, şu ana kadar bilgisayara bu yapıları tanımlamak işin yeterince kolay birs cmetod geliştirilememiştir. Yukarıda saydığımız aygıtlar ve bu calışmada onerdiğimizs s g şs ü gmetod ile bilgisayar ortamında da yeterince kolay bir şekilde matematik yapılarınstanımlanabilmesi sağlanmıştır.g sBu aygıtlarda el yazısı dizisini elde etmek işin bir kalem kullanılmaktadır. Buckalemin cıktısının sayısallaştırılması ile, kalemin yazmaya başlaması ve yazmayış s sbitirmesi arasındaki noktaların koordinatları ve bu koordinatlara ait zaman bilgilerielde edilmektedir. Her bir kalem darbesi programımızın işerisinde bir koleksiyondactutulmaktadır.Her bir kalem darbesi bir yapay sinir ağından geşirilmekte ve bu ağdan gelen sem-g c gbol bilgisi, denklemin yapısal bilgisi ile birleştirilerek recursive bir okuyucu modüls utarafından okunmaktadır.Bu şalışmada onerilen sistemin arayüzü, aynı zamanda Microsoft'un Tablet PC-cs ü uuAPI'si işerisinde bulunan el yazısı tanıma modülünü de kullanmakta ve bu sayedec uu uhem matematik, hem de yazı girişini mümkün kılmaktadır. Bu sayede, tek birs uuarayüzde, hem matematik hem yazı işeren sayfaların oluşturulabilmektedir. Tanımau c sve okuma işlemleri tamamlandığında, tüm cıktılar birleştirilerek tek bir Latex kodus g uş soluşturulmakta ve bir PDF dosyası uretilmektedir.s üviii

ONLINE HANDWRITTEN MATHEMATICALEXPRESSION RECOGNITIONHakan BuyukbayrakAbstractThis thesis presents a system for online handwritten mathematical expression recog-nition that involves integrals, summation notation, superscripts and subscripts,square-roots, fractions, trigonometric and logarithmic functions; together with auser-interface for writing scientiï¬c articles.The aim of this study is to utilize the most convenient man-machine-interface, apen, for input of mathematical expressions. In pen-enabled devices, handwriting se-quences are collected by the digitization of pen movements which outputs an arrayof coordinates called strokes.A neural network is trained for recognizing each stroke and a recursive algorithmparses the expression by combining neural network output and structure of the ex-pression.The interface associated with the proposed system integrates the built-in recog-nition capabilities of the Microsoft?s Tablet PC-API for recognizing textual inputand also supports conversion of hand-drawn ï¬gures into PNG format, which enablethe user to enter text, mathematics and draw ï¬gures in a single interface. After therecognition, all output is combined into one Latex code and compiled into a PDF ï¬le.The system presented in this thesis provides a natural interface, hence enables easy-input of mathematical expressions in all pen-enabled devices such as tablet PCs,PDAs, external tablet pads, electronic pen-boards etc.vi