MathLet v3: Recognizing handwritten mathematical expressions

Abstract

Bu tez elle yazılmış matematiksel ifadeleri tanımak için geliştirilmiş bir sistemin üçüncü versiyonu olan MathLet v3'ü sunar. Önceki versiyonlar Hakan Büyükbayrak ve Mehmet Çelik tarafından geliştirilmiştir.MathLet v3 elle yazılmış matematiksel ifadeleri tanımak için iki aşama uygular; sembol tanıma ve çözümleme. Sembol tanıma aşamasında iki sınıflandırıcı birleştirilir. Bu sınıflandırıcılardan biri çevrimiçi özellikleri kullanırken diğeri çevrimdışı özellikleri kullanır. Her iki sınıflandırıcı da sınıflar üzerindeki olasılık dağılımını verir.Çözümleme aşamasında, MathLet v3'ün zaman performansını artırmak için olasılık dağılımları kullanılır. Ayrıca paralel programlama da çözümleme safhasında kullanılır. Çözümleme aşamasında, yanılgıya düşülen karakterler için özel işleme yaklaşımı uygulanır.MathLet v3 dört uygulamaya sahiptir ve bunlardan ikisine Web üzerinden ulaşılabilir. Kullanıcılar bu uygulamaları kullanarak Web üzerinden mathematiksel ifadeler yazar ya da matematiksel ifade içeren InkML dosyalarını yükler ve bunlar için tanıma sonuçları elde eder.MathLet 2011'den beri CROHME adlı bir yarışmaya katılmaktadır. MathLet'in CROHME'daki değerlendirme sonuçları, tanıma görevinin her yıl daha zor hale gelmesine karşın, MathLet'in doğruluğunun 2011'den başlayarak %0.55'ten %8.35'e yükseldiğini gösterir. Doğruluk geliştirmelerine ek olarak, MathLet v3'ün zaman performansını ölçmek amacıyla yapılan deneyler MathLet v3'ün daha hızlı hale geldiğini gösterir.

This thesis presents MathLet v3 which is the third version of a system developed to recognize handwritten mathematical expressions. Previous versions were developed by Hakan Büyükbayrak and Mehmet Çelik. MathLet v3 implements two steps to recognize handwritten mathematical expressions; symbol recognition and parsing. In the symbol recognition step, two classifiers are combined. One of these classifiers uses online features while the other one uses offline features. Both classifiers return probability distributions over classes.In the parsing step, probability distributions are used to increase time performance of MathLet v3. Moreover, parallel programming is used in parsing phase. Special handling approach for mistaken symbols is also implemented in the parsing step.MathLet v3 has four applications and two of them can be accessed through the Web. Users write mathematical expressions or upload existing InkML files which contain mathematical expression and get recognition results for them through the Web by using these applications.MathLet has been participating in a competition named CROHME since 2011. The evaluation results of MathLet in CROHME show that the accuracy of MathLet has increased from 0.55% to 8.35% starting from 2011, although recognition task becomes more difficult each year. In addition to accuracy improvements, experiments made in order to measure the time performance of MathLet v3 show that MathLet v3 has become faster.