Evreşimsel sinir ağları tabanlı otomatik görüntü renklendirme

Abstract

Otomatik görüntü renklendirme, herhangi bir kullanıcı çabası olmadan girdi olarak alınan bir gri tonlamalı görüntüye renk ekleme görevidir. Gri tonda resimlerin gerçek renk değerlerinin bilinmiyor olması ve nesnelerin birçok renge ve renk tonuna sahip olması renklendirme işlemini zorlaştırmaktadır. Örneğin plastik nesneler birçok renge sahip olabilmekte ya da ağaçlar çeşitli tonlarda yeşil renge sahip olabilmektedir. Bu tez çalışmasında, gri tondaki görüntülerin Evrişimsel Sinir Ağı (ESA) kullanılarak otomatik renklendirilmesi önerilmiştir. ESA ve ImageNet veri setindeki resimler kullanılarak model geliştirilmiştir. Geliştirilen model kullanılarak girdi olarak alınan gri tondaki resmin rengi tahmin edilmektedir. Çalışmada renk uzayı olarak Lab Renk uzayı kullanılmaktadır. Model giriş olarak L kanalını almakta, çıkış olarak ab kanalını vermektedir. ImageNet veri setinden rassal seçilmiş 39,604 görüntü içeren veri seti ESA modelini eğitmek için % 80 eğitim ve % 20 validasyon olacak şekilde bölünmüştür. Ayrıca modeli test etmek için de iki veri seti(ctest10k ve Places205) kullanılmıştır. Önerilen yöntemin performansını değerlendirmek için Kök Ortalama Karesel Hatası(Root Mean Square Error ,RMSE), Ortalama Karesel Hatası (Mean-squared error, MSE), Ortalama Mutlak Hata(Mean Absolute Error ,MAE), Tepe Sinyal -Gürültü Oranı (Peak Signal to Noise Rratio ,PSNR), ve renklendirme süresi değerleri kullanılmıştır. Ctest10k veri setinden ortalama RMSE, MSE, MAE, PSNR ve renklendirme süresi değerleri sırasıyla 5.189889, 29.144883, 114.5571, 34.23678, 0.832537 olarak elde edilmiştir. Places205 veri setinden elde edilen ortalama RMSE, MSE, MAE, PSNR ve renklendirme süresi değerleri sırasıyla 7.098634, 52.15844, 120.4613, 31.28532, 0.840554 olarak bulunmuştur.

The automatic colorization is the task of adding the color to a given gray image taken as input without any user effort. The fact that the true color values of gray scale images are unknown and the objects have many colors and shades makes coloring difficult For example, plastic objects can have many colors, or trees can have various shades of green. In this thesis, automatic colorization of gray-scale images using the Convolutional Neural Network has been proposed. The model was developed using the pictures in the ImageNet dataset and Convolutional Neural Network. The color of the gray image taken as an input is estimated using the developed model. Lab Color Space is used as color space in this study. The model takes the L channel as the input and gives the ab channel as the output. The data set containing 39,604 images randomly selected from the ImageNet data set was divided into 80% training and 20% validation to train the Convolutional Neural Network model. Also two data sets(ctest10k and Places205) are used for testing the performace of model. Root Mean Square Error (RMSE), Mean Square Error ( MSE), Mean Absolute Error (MAE), Peak Signal-Noise Ratio (PSNR) and coloration time values were used to evaluate the performance of the proposed method. Average RMSE, MSE, MAE, PSNR and coloration time values were obtained from Ctest10k data set as 5.189889, 29.144883, 114.5571, 34.23678, 0.832537 respectively. Average RMSE, MSE, MAE, PSNR and coloration time values obtained from Places205 data set were found as 7.098634, 52.15844, 120.4613, 31.28532, 0.840554, respectively.