Automatic determination of plant type and phenological stage with deep learning methods

Abstract

Tarım teknolojisinin ve tarımsal ürünlerin izlenmesinde önemli bölümlerinden biri bitkilerin kesin fenotiplemesinin otomasyonudur. Ekolojik koşullar bitki büyümesinde büyük bir etkiye sahiptir. Sonuç olarak, hassas bir fenoloji denetimi, mahsul kalitesini artırmak ve mahsul üretimini hızlandırmak için kullanılabilecek birçok veri sağlar. Bitki türlerinin otomatik olarak tanımlanması süreci, gıda ve ilaç endüstrisindeki üretim prosedürlerini geliştirmek için dakik izlemenin zamanında uygulanması için değerli bir yardımcı olabilir.Tarbil, hükümet tarafından desteklenen Tarımsal İzleme ve Bilgi Sistemi projesidir. Tüm Türkiyede 2019'a kadar bir sürü çeşitlilikteki sensörle birlikte 1200'den fazla tarım istasyonu bulunmaktadır. Bitki görüntüleri toplanıp her 30 dakikada bir sunucuya gönderiliyor. Bitkilerin yetiştirilmesi sırasında birçok çevresel değişiklik meydana gelir. Bu nedenle TARBİL ağı tarafından toplanan görüntülerin sınıflandırılması oldukça zor sayılır.Tezin amacı arpa, buğday, ayçiçek, mısır, pamuk ve nohut olmak üzere 6 tür bitkinin sınıflandırılmasıdır. Bitkinin sadece türünü bulmak değil, aynı zamanda o bitkinin hangi fenoloji aşamasında olduğunu tanımlamaktır. Günümüzde, bunların güçlü bir manuel insan müdahalesi olmadan yapılması mümkün değildir. Ayrıca bitki tanıma ve sınıflandırma, gözlemsel yeterlilik ve insani çaba gerektirir. Bu sorunu çözmek, süreci otomatik hale getirmeye ve iş gücü ile zaman kazanmaya yardımcı olacaktır.Bitkilerin fenolojisi hakkında yapılan literatür araştırması, bir çok yöntemin fenolojinin izlenmesi için bir önlem geliştirmek üzere renk bazlı özellikler hakkında olduğunu göstermektedir. Bitki sınıflandırması ile ilgili birçok çalışma yapıldı ancak yine de zor bir görev olmaya devam etmektedir. Bazıları, bitkilerin tanımlanması ve sınıflandırılması için bitki yapraklarının kullanılmasını önermektedir. Büyük Konvolüsyonel Sinir Ağlarının (KSA), normal doku, renk, şekil vb. özelliklerine dayanan nesne tanıma ya da algılama için kullanılan ortak tekniklerden daha iyi performans gösterme potansiyeli olduğu tespit edilmiş. Tip tanımlama problemleri sınıflandırıcı tarafından takip edilen bir özellik çıkarıcı içerir. Tarımsal görevlerin çözümünde bilgisayarlı görme yöntemleri de kullanılmıştır.Bu çalışmanın temel hedefi, güncel yaklaşımları karşılaştırarak en uygun olanı bulmaktır. Özel görüntü veri üretecinin işlevlerinin uygulanması, seçilen yaklaşımların performansını artıracağı varsayılmaktadır.Derin öğrenmeyi kullanırken iyi performans elde etmek için büyük miktarda veri gerekir. Bir sınıflandırıcı oluşturmak için yeterli veri olmadığında, veri kümesini genişletmek için veri büyütme işlemi kullanılır. Eğitim görüntülerinin toplanmasının yüksek maliyetlerinden kaçınmak için görüntü büyütme işlemi geliştirilmiştir. Görüntü büyütme, eğitim seti görüntülerinin benzer görüntülerin yeni bir varyantını oluşturacak şekilde değiştirildiği süreçtir. Aynı zamanda, çok çeşitli aydınlatma ve renklendirme durumları sunarak sağlam sınıflandırıcıya yardımcı olur. Varsayılan olarak ayarlamalar rastgele uygulanır. Bu nedenle her görüntü her seferinde değiştirilmiyor. Görüntüleri önceden işlemlemenin birçok yolu vardır: yakınlaştırma, çevirme, döndürme vb.Örnek veri standardizasyonu, özellik standardizasyonu, rasgele döndürme, kayma, vb. gibi fonksiyonları içeren görüntü veri hazırlama ve büyütme için konfigürasyonu tanımlamak amacıyla kullanılan, Keras tarafından sağlanan hazır bir ImageDataGenerator sınıfıdır.Keras'ta ImageDataGenerator sınıfı tarafından sağlanan standart veri büyütme tekniklerinin yanı sıra, artırılmış görüntüler üretmek için özel fonksiyonlar oluşturulmuştur. Keras'taki artırmaya yönelik özel ön işleme işlevini uygulamak için özel işlevler tanımlanıyor ve bir argüman olarak ImageDataGenerator'e geçiriliyor.Onlardan biri yakınlaştırmadır. Yakınlaştırmada orijinal görüntü ile aynı boyuta sahip olmak için görüntünün bir alt bölümü alınıyor. Bu nedenle mevcut bir görüntünün bir kısmını yakınlaştırmak suretiyle yeni bir görüntü oluşturuluyor ve yeni görüntünün boyutu orijinal olanın boyutuyla aynı oluyor.Histogram eşitlemede, düşük kontrastlı görüntüler alınır ve gölgede hassas farklar yaratmak ve daha yüksek kontrastlı görüntüler oluşturmak için görüntünün göreceli yüksek ve alçakları arasında kısıtlamalar artırılır. Piksel yoğunluklarının dağılımı daha geniş bir değer aralığına uyacak şekilde alınır ve verilir. Böylece görüntünün en aydınlık ve en karanlık kısımları arasındaki kontrast seviyesi artar. Resim kontrastını iyileştirmek için 3 adet resim büyütme tekniği vardır: histogram eşitleme, kontrast germe ve adaptif eşitleme.Kontrast germede bir görüntüdeki piksel yoğunluklarının dağılımı analiz edilir ve 2. ve 98. yüzdelik değerlere düşen tüm yoğunluklara sahip olacak şekilde görüntü yeniden boyutlandırılır.Genel olarak istasyon kameraları sabitlendiği ve tüm sekansı aynı zoom faktörü ile yakaladığı için, her kareye diğerlerinden bağımsız olarak rastgele seçilen bir zoom faktörü uygulamak gerçekçi değildir. O yüzden kontrast germe ve histogram dengeleme veri artırma işlevleri çerçevelere birbirlerinden bağımsız olarak, yakınlaştırma işlevi ise tüm diziyi aynı oranda etkileyecek şekilde uygulandı.Ağı sıfırdan eğitmek için iki sınırlama var. Her şeyden önce ağın birçok parametreyle doldurulması gerekir; uygun parametreler elde etmek için büyük bir veri kümesine sahip olması gerekir. Sonra bu devasa veri setini işlemek ve çoklu yineleme gerektiren ve bilgi işlem kaynaklarını zorlayan eğitim için devasa bilgi işlem gücü gerekir.Transfer öğreniminin arkasındaki sezgi, eğer yeterince geniş ve genel bir veri kümesi üzerinde eğitilmiş bir model ise, bu modelin görsel dünyanın genel bir modeli olarak etkili bir şekilde hizmet edeceğidir.Denenen modeller Mobilenet sürüm 1, Mobilenet sürüm 2 ve VGG-16'dır.Mobilenet'i mimarisinde hafif olduğu için kullandık. Mobilenette derinlemesine ayrılabilir konvolüsyonlar kullanılıyor. Bu temelde üçünü birleştirmek ve düzleştirmek yerine her renk kanalında tek bir konvolüsyon gerçekleştiriliyor.VGG-16 modeli tamamen bağlı katmanları içeren üst katman olmadan yüklendi. Baz ağın eğitilebilir parametrelerini ayarladıktan sonra sınıflandırıcı evrişimli bazın üstüne eklendi. Bitkilerin fazlarının sınıflandırılmasındaki diğer yöntemlerle karşılaştırıldığında, bu model oldukça daha iyi sonuçlar verdi.Denenen bitkiler buğday, arpa, mısır, pamuk, nohut ve ayçiçeğidir. Bitkilerin görüntülerini etkileyen birçok hava değişikliği tarım bitkilerinin büyüdüğü tüm dönemde gerçekleşir. Sonuç olarak çeşitli aydınlatma koşullarından istenmeyen etkileri ortadan kaldırmak mümkün değildir.. TARBİL ağı tarafından toplanan görüntüler sınıflandırma için oldukça zorlayıcıdır. Dahası, farklı sınıflardan bitkiler, büyüme aşamalarında farklı yerler, yönleri çok yavaş bir şekilde değiştiriliyor ve takip eden iki fazdaki orta görüntüleri ayırt etmek zordur.TARBIL veri setinden 6 bitki sınıfı kullanılarak KSA'ların ince ayar ve özellik çıkarımı yapıldı. Her görüntü büyük parçalara bölündü ve her yama için özellik çıkarımı yapıldı. KSA kurulumu ve veri seti ile, model, özellikle bitkilerin erken fenolojik aşamalarının sınıflandırılması için nispeten kusurlu bir performans sergiledi. Herhangi bir bitkinin fenolojisinin başlangıcında, görüntünün tamamında çok fazla toprak vardır. Toprağın özellikleri, hangi bitkilerin yetiştirildiğine bağlı olarak değişmez. Aynı zamanda sınıflandırıcı, olgun fenolojik aşamalarında her bitkinin çok özel özelliklere sahip olması nedeniyle, bitkilerin olgun fazları için nispeten daha üstün bir başarı elde etti.Özel resim veri üreteci fonksiyonlarının eklenmesi, veri setinin ve sağlam sınıflandırıcının büyütülmesine yardım etti. İlk olarak, görüntü veri üreteci kullanmadan sonuçlar elde edildi, doğruluk% 79.69 ve kayıp 0.4685 idi.Özel histogram eşitlemesi eklendiğinde, görüntü veri üretecine karşılık olarak streching işlevleri, sonuçları % 87.5 ve 0.3798'e yükseltti.Fenoloji aşamalarının tanımlanması durumunda, görüntü veri büyütmesi kullanılmadan elde edilen sonuçlar, kayıp 0.5927 ve doğrulama kaybı 0.6814'tir. Kontrast gerilmesi eklemek, bu sonuçları 0.5119 ve 0.6409'a yükseltti.Bu çalışmada, 6 tür bitki ve bitkilerin farklı fenolojik aşamalarının sınıflandırılması için evrişimli bir sinir ağları temelli yaklaşımlar kullanılmıştır. Veri seti TARBİL projesinden alınmıştır. Gözlem sonuçları, KSA tabanlı önceden eğitilmiş ağların üzerinde çalıştığımız 6 tür bitki üzerinde önemli derecede etkili olduğunu gösteriyor. Diğer yöntemlerle karşılaştırıldığında, deneysel sonuçlar MobiletNet v2'nin ince ayar sınıflandırma doğruluğunun, bitki türlerini sınıflandırmadaki diğer yöntemleri geride bıraktığını, ancak VGG-16 modelinin ince ayarının her tesisin fenoloji aşamasının sınıflandırılmasında diğer mimarilerden uzak durduğunu göstermektedir. Dahili ve özel veri büyütme işlevlerinin kullanılması, sınıflandırıcının performansını arttırdı.

One of the importаnt pаrts of аgriculturаl technology аnd monitoring of аgriculturаl crops is the аutomаtion of precise phenotyping of plаnts. Ecological conditions hаve а enormous influence on plаnt growth. Consequently, a precise phenology supervising ensures а lot of data thаt cаn be used to improve crop quаlity аnd speed up crop production. The process of аutomаtic identificаtion of plаnt types cаn be а vаluаble help for the аpplicаtion of crop monitoring punctually to enhance the production procedures in the food аnd phаrmаceuticаl industries. The development of mаchine leаrning technologies offers аn unlike аpproаches compаred to regular аgriculturаl аpplicаtions. In this work, there wаs used the method of deep leаrning for the recognition аnd clаssificаtion of phenology phases of аgriculturаl plаnts. Different from trаditionаl feаture extrаction аpproаches, а pre-trаined convolutionаl neurаl network (CNN) models are used to аutomаticаlly extrаct feаtures of imаges. CNN's structure аnd depth аre importаnt mаtters to be considered аs they reflect the performаnce of recognition. In this thesis, there were compared different approaches and were made an analysis of them to find out which features are mostly usable in the classification of plant types and phenological stages using deep learning. Custom data augmentation functions are implemented to improve performance of the classifier. The performаnce of all аpproаches hаs been evаluаted on а dаtа set compiled аs pаrt of the government-supported TАRBIL project, for which more thаn 1200 аgro-establishments аre locаted all over Turkey. The outcomes of experiments on the TАRBIL dаtа set affirm thаt the proposed methods are fairly efficient.