An android based receipt tracker system using optical character recognition

Abstract

Yenilikçi mobil uygulamalara olan ihtiyaç artıkça, Optik Karakter Algılama (OCR) sistemleri de masaüstü ortamlardan mobil platformlara kaymıştır. OCR elyazısı yada herhangi bir metin içeren basılı veya taranmış döküman ve resimlerden metinleri dijital olarak değiştirilebilir ortama çıkarıp daha fazla analiz ve işleme olanak veren bir sistemdir. Bu çalışmada, fatura görüntülerinden metinleri otomatik olarak algılayıp çıkaran bir OCR android uygulaması önerilmiştir. Bu çalışmada Mobil cihazların kamerlarından elde edilen günlük fatura görüntülerinin OCR teknikleri ile etkili bir şekilde işlenmesi için gerekli temel teknikler araştırılmıştır. Fatura görüntülerinin kendine özel bazı karakterisitiklerinden dolayı tatmin edici sonuçlara ulaşmak için OCR sistemleri özel olarak bu görüntüleri işlemek için bir öğrenme sürecine sokulmalıdır. Olağandışı yazı tipleri ve boyutları, kısaltılmış kelime veya cümleler fatura dökümanlarını diğer dökümanlardan ayıran en önemli özelliklerden bazılarıdır. Bu çalışmanın temel amacı OCR teknolojisinin bir android uygulaması içerisinde fatura takibi amacı ile kullanılmasının uygun olup olmadığını araştırmaktır. Algılama safhasında,fatura resimlerindeki metinleri algılayıp çıkarmak için açık-kaynak kodlu Tesseract OCR kütüphanesi kullanılmıştır. Bu çalışma göstermeiştirki fatura görüntülerinin önerdiğimiz teknikleri uygulamadan Tesseract kütüphanesine direk olarak gönderilmesi oldukça düşük doğruluk değerleri ile sonuçlanmaktadır: %58,06 kelime doğruluğu ve %84,14 karakter doğruluğu. Ancak önerilen bütün teknikler uygulandığında örnek olarak kullanılan iki yazı tipi için Android uygulaması %88,72 kelime ve %96,61 karakter doğruluğu vermiştir. Ayrıca Android uygulamasının bir görüntüyü işem süresi 6,56 saniye olarak hesaplanmıştır.

Since demands for innovating and implementing mobile apps gets deeper, therefore innovations on designing and creating desktop OCR Apps moved and shifted to propose and innovate mobile OCR Apps. Optical Character Recognition (OCR) is the technology that converts the text from handwritten images, text printed images or scanned images to the alterable text for further analysis and process. In this research, we suggested an Android OCR Application for automatically extracting and recognizing text on the receipt images. This research presented the main and powerful techniques proposed for better performing OCR technology on the receipt images acquired through cameras of hand-held devices to obtain and reaching a powerful and efficient system for tracking daily marketing receipts easily. Of course, receipt images have their specifics, therefore OCR applications must be trained for such kind of images else OCR technology cannot perform well-recognition. Unusual text fonts, very small font size, also compressed characters, words and lines on receipt images are the most different characteristics of receipt images from other documents. The main aim or purpose of this research is to find and investigate whether OCR technology is feasible for an Android application to recognize text on receipt images or not. In the recognition stage, for extracting and recognizing text on receipt images, we utilized Tesseract OCR engine which is an open source OCR engine. We proved and showed that instantly submitting receipt images to the Tesseract without applying various techniques suggested in this research will produce useless and bad outcomes which are 58.06% as the percentage of word accuracy and 84.14% as the percentage of character accuracy. But with utilizing all the suggested techniques for two different fonts, the suggested Android application yielded 88.72 % as the percentage of word accuracy, 96.61 % as the percentage of character accuracy and 6.56 sec as the time performance of the suggested Android application.