Content based image retrieval for identification of plants using color, texture and shape features

Abstract

Bu tez çalışmasında, bitki tanımaya yönelik bir İçerik Tabanlı Görüntü Bulma sistemi önerildi ve bu sistemin başlangıç uygulaması geliştirildi. Kullanıcılara kendi bitkileri hakkında çeşitli bilgiler sunmayı amaçlayan sistem, oluşturulmuş bitki veritabanı içerisinden, kullanıcıdan aldığı bitki resmiyle eşleşen bitkiyi bulur. Hazırlanan sistem, daha geniş ve kapsamlı bir veritabanıyla birlikte biyologlar tarafından bitki veritabanlarına daha kolay erişim sağlamak için de kullanılabilir.Görüntüdeki bitkiyi görüntünün arkaplanından ayırmak, böylece bitkinin yapısını çıkarabilmek için görüntü bölütleme yöntemi olarak maksimum-akı minimum-kesik yöntemi kullanıldı. çeşitli renk, doku ve şekil öznitelikleri, girdi olarak alınan görüntüleri veritabanındakilerle eşleştirmede kullanılmak üzere, bölütlenmiş bitki bölgesinden çıkarıldı. Renk ve doku analizi için kullanılan yöntemler, bilinen ve çoğunlukla tercih edilen özniteliklere dayanıyor. Bu öznitelikler: renk histogramları, renk eş görülme matrisleri ve Gabor doku haritalarıdır. Şekil öznitelikleri için ise bitkinin dış hatlarını ve özelliklerini ifade edebilecek bazı yeni şekil açıklayıcıları sunuldu. Renk, görüntü bulma sistemlerinde çok etkili bir öznitelik olmasına rağmen, bu problemde çoğu bitkilerin birbirinden yalnızca yeşilin tonlarıyla farklılık göstermesi renk analizi konusunda bir zorluk olarak görüldü. Şekil ve doku analizindeki zorluk ise, bitkilerin pek çok yapraktan oluşması ve bu sebeple bitki doku ve dış hat görüntüsünün karmaşık ve değişken olmasıdır. Doku analizinde yaprak seviyesindeki görüntü bilgisini yakalayabilmek için küçük şekil parçaları ve yamalar kullanıldı. Her bir yamanın bitkinin yaprağını ifade edebilecek büyüklükte olması amaçlandı.78 farklı bitki tipinden 380 görüntü barındıran bitki veritabanımızda yaptığımız testler sonucu, doğru bitki %54 olasılıkla eşleşen ilk 15 bitki arasında yer aldı. Bunun yanında, sadece bu veritabanındaki şekil öznitellikleri iyi olan görüntülerin olduğu 132 görüntüden oluşan veritabanından alınan sonuçlar, doğru bitkinin ilk 15 bitki arasında olma olasılığını %68'e çıkarmıştır.

In this thesis, an application of content-based image retrieval is proposed for plant identification, along with a preliminary implementation. The system takes a plant image as input and finds the matching plant from a plant image database and is intended to provide users a simple method to locate information about their plants. With a larger database, the system might be used by biologists, as an easy way to access to plant databases.Max-flow min-cut technique is used as the image segmentation method to separate the plant from the background of the image, so as to extract the general structure of the plant. Various color, texture and shape features extracted from the segmented plant region are used in matching images to the database. Color and texture analysis are based on commonly used features, namely color histograms in different color spaces, color co-occurrence matrices and Gabor texture maps. As for shape, we introduce some new descriptors to capture the outer contour characteristics of a plant. While color is very useful in many CBIR problems, in this particular problem, it introduces some challenges as well, since many plants just differ in the particular hue of the green color. As for shape and texture analysis, the difficulty stems from the fact that the plant is composed of many leaves, resulting in a complex and variable outer contour and texture. For texture analysis, we tried to capture leaf-level information using smaller shape regions or patches. Patch size is designed to contain a leaf structure approximately.Results show that for 54% of the queries, the correct plant image is retrieved among the top-15 results, using our database of 380 plants from 78 different plant types. Moreover, the tests are also performed on a clean database in which all the plant images have smooth shape descriptors and are among the 380 images. The test results obtained using this clean database increased the top-15 retrieval probability to 68%.