Görüntü işleme ve makine öğrenmesi kullanarak elmalarda çürük tespiti

Abstract

Bu tez çalışmasında, içerisinde bir yakın kızılötesi (NIR) kamera barındıran görüntü toplama platformu ile elde edilen elma görüntüleri evrişimsel sinir ağı (CNN) modeli tarafından desteklenen yapay arı kolonisi (ABC) ve parçacık sürüsü optimizasyonu (PSO) algoritmalarına dayalı bir hibrit model kullanarak çürük ve sağlıklı olarak sınıflandırılmıştır. Önerilen model görüntü elde etme, görüntü ön işleme, anatomik bölgelerin bölütlenmesi ve elma görüntülerinde çürük alanların tespiti aşamalarını içermektedir. Görüntü toplama platformu kullanılarak 100 çürük ve 100 sağlıklı olan 200 elmadan farklı açılardan toplam 1200 görüntü alınmıştır. Tespit ve sınıflandırma başarısını arttırmak için, ön işleme aşamasındaki görüntülere sırasıyla adaptif histogram eşitleme, kenar algılama ve şekilsel işlemler uygulanmıştır. İlk olarak, görüntülerin sap-çanak anatomik bölgelerini bölütlemek ve gözardı etmek için, CNN modeli önceden işlenmiş görüntüler kullanılarak eğitilmiştir. Eğitilen bu model ile sap-çanak bölgeleri görüntüden çıkarılmıştır. İkinci aşamada, sap-çanak bölgeleri gözardı edilen görüntüler üzerinde ABC / PSO-tabanlı yinelemeli eşikleme yaklaşımı ile bir eşik değeri saptanmış ve bu eşik değeri kullanılarak sap-çanak anatomik bölgeleri olmayan görüntülerdeki çürükler tespit edilmiştir. Önerilen yaklaşımların sınıflandırma başarısını göstermek için, aynı sınıflandırma deneyleri, ABC ve PSO yaklaşımı olmadan doğrudan Faster R-CNN modeli kullanılarak yeniden uygulanmıştır. Deneysel sonuçlar, tezde önerilen bu hibrit modelin, ABC ve PSO tabanlı yinelemeli eşikleme yaklaşımlarının kullanılmadığı Faster R-CNN modelinden daha başarılı olduğunu göstermiştir.

In this thesis, the apple images taken by using the image acquisition platform with near-infrared (NIR) camera were classified as bruised and healthy using a hybrid model based on artificial bee colony (ABC) and particle swarm optimization (PSO) iterative thresholding algorithms supported by a convolutional neural network (CNN) model. The proposed model includes image acquisition, image pre-processing, the segmentation of anatomical regions to be discarded and the detection of bruised areas on the apple images. A total of 1200 images at different angles were taken from 200 apples those of which were 100 bruised and 100 healthy by using the image acquisition platform. In order to increase the success of detection and classification, adaptive histogram equalization (AHE), edge detection and morphological operations were applied to the images in the pre-processing stage, respectively. First, in order to segment and discard the stem-calyx anatomical regions of the images, the CNN model was trained by using the preprocessed images. With this model, the stem-calyx regions were removed from the image. Second, the threshold value was determined by means of ABC/PSO-based iterative thresholding approach on the images whose stem-calyx regions were discarded, and then the bruised areas on the images with no stem-calyx anatomical regions were detected by using the determined threshold value. In order to illustrate the classification success of the proposed approaches, the same classification experiments were reimplemented by directly using Faster R-CNN model alone on the preprocessed images with no ABC and PSO approaches. Experimental results showed that this hybrid model proposed in the thesis was more successful than the Faster R-CNN model in which ABC and PSO-based iterative threshold approaches were not used.