Video analysis based fish detecton and tail beat frequency estimation in fishways

Abstract

Küresel ekonomik büyüme, artan insan nüfusu ve enerji ihtiyacı insanların enerji, gıda ve benzeri ihtiyaçlarını karşılamak amacıyla nehir göl ve akarsular üzerindeki aktivitelerini arttırmaktadır. Bu aktivitelerin en açık örneği olarak göl ve nehirler üzerine inşa edilen baraj, hidroelektrik santraller verilebilir. Hidroelektrik enerji özellikle gelişmekte olan ülkelerde ana ekonomik aktivitelerden biridir. Nehirler üzerindeki insan yapılarının nehirdeki doğal ortam (habitat) ve yaşam formlarının çeşitliliği (biyoçeşitlilik) üzerinde oldukça olumsuz etkileri bulunmaktadır. Akarsuların devamlılığı, farklı ekolojik bölgeleri doğal yolla birbirine bağlayan yapısı sebebiyle ekolojik açıdan çok değerlidir. Nehirlere kurulan baraj ve benzeri yapılar burada yaşayan su canlılarının, özellikle balıkların geçişini ve göç yollarını engellemektedir. Balık popülasyonun devamlılığını sürdürebilmesi balıkların yaşadığı ve üreme, beslenme, hareket etme gibi biyolojik fonksiyonlarını yerine getirdiği ortamın (habitat) karakteristik özelliklerine güçlü bir şekilde bağlıdır. Nehirdeki akım örüntüsü fiziksel ortamın ana belirleyici etmeni olduğundan nehirdeki biyotik ortamın da en karar verici parametresidir. Nehirler üzerine kurulan yapılar sebebiyle akıntıların debisinde meydana gelen değişiklikler o bölgede yaşayan balık türleri üzerinde baskı yaratabilir. Balıkların yaşam alanında, hareketlerine etkileri düşünülmeden bilinçsizce tasarlanan suni değişiklikler balık popülasyonu için büyük tehdit oluşturur. Bu sebeple, balıkların santral ve baraj gibi yapılardan geçişini sağlamak amacıyla farklı çözümler sunulmuştur. Bu çözümler arasında en yaygın olanlarından birisi de baraj ve santraller içinde balıkların göçlerini tamamlaması için geçitlerin inşa edilmesi yöntemidir. Balık geçitlerinin temel amacı nehirdeki insan yapılarının sebep olduğu engeli kaldırmaktır. Geleneksel balık geçidi türleri arasında havuzlu, düşey yarıklı ve doğala benzer balık geçidi tipleri bulunmaktadır. Bunların dışında balık dostu sazlık tipi balık geçidi gibi yeni nesil tasarımlar da ortaya çıkmıştır ve bu yeni tasarımların değerlendirilmesi amacıyla yeni çalışmalara ihtiyaç duyulmaktadır. Literatüre katkı sağlamak amacıyla bu tezdeki saha ölçümleri ve deneyler sazlık tipi balık geçidi üzerinde yapılmıştır. Balık geçitlerinin verimli bir şekilde tasarlanabilmesi için biyolojik ve mühendislik yaklaşımların bütünlük içerisinde olduğu disiplinler arası bir çalışma gereklidir. Bu tezde balık geçidinin verimli biçimde tasarlamasına katkıda bulunabilecek parametrelerin hem sahada hem de laboratuvar ortamında ölçümü için sinyal işleme tabanlı yenilikçi ölçüm ve modelleme teknikleri sunulmuştur.Balık geçitlerinin verimliliği değerlendirilirken bölgelere göre akıntı hızı ve ortamın diğer akışkan dinamikliği parametreleri ve hidrolojik ölçümler çok önemli olmakla beraber tek başına yeterli değildir. Balıkların kinematik verileri ve diğer biyolojik parametreler de balıkların geçit içindeki davranışlarını yorumlama açısından kritik öneme sahiptir. Balık yüzme hızı ve ivmesi, geçit içindeki geçiş rotaları ve kuyruk sallama frekansları balık geçitlerinin verimliliğinin değerlendirilmesindeki başlıca önemli parametrelerden bazılarıdır.Tüm balık türlerinin evrimsel olarak kazandığı ortak hareket örüntüleri dışında, farklı balık türleri arasındaki kinematik kabiliyetler geçirdikleri evrim sürecine göre farklılık göstermektedir. Bu sebeple, balık geçidinin tasarımı aşamasında hedeflenen endemik türlerin morfolojik ve biyolojik özelliklerinin dikkate alınması balık geçidinin verimliliği için önemlidir. Akıntıya karşı göç eden balıkların daha düşük akıntı hızına sahip bölgelere doğru yönelerek minimum enerji harcama konseptinde hareket ettiklerine dair gözlemler yapılmıştır. Belirli balık türleri bencil (bireysel) sebeplerle toplu halde harekete eder, tek bir vücut gibi tepki verirler. Böylece, avcılardan kaçarken daha az enerji harcamak, daha rahat beslenmek gibi ekolojik faydaların yanında önündeki balığın yarattığı girdabın dönme kuvvetini kullanarak akıntıya karşı dururken enerji tasarrufu yapmak gibi kinetik avantajları da kullanmayı amaçlarlar. Balıklardaki bu evrimsel davranış biçimi 'Fish Schooling' olarak adlandırılır. Balık geçitlerinde elde ettiğimiz gözlemlerde de 'Schooling' davranışı gözlemlenmiştir. Balıkların toplu davranışları ve hareket örüntülerine dair elde edilecek ölçüm yöntemleri bu bağlamda balık geçidinin verimliliğinin değerlendirilmesinde faydalı olacağı düşünülür.Laboratuvar ortamındaki balık hareketi incelemelerinde genellikle düzenli su akımının olduğu bir ortam üzerinde ölçümler yapılır. Halbuki, nehir üzerinde hareket eden balık türlerinin doğal ortamları çoğunlukla türbülansın yoğun olduğu karmaşık akıntı dinamikleri içerir. Akıntıya karşı yönde göç eden balık türleri düzenli bir şekilde türbülans akımlarına maruz kalırlar. Su akımı silindir şeklindeki geniş ve keskin olmayan cisimlerden geçerken arakasında `girdap dökülmesi` (vortex shedding) adı verilen girdap akımları oluşturur. Üstelik Gökkuşağı Alabalığı gibi bazı türler akıntıya karşı hareket ederken kendi vücutlarını 'slalom' hareketi ile yönlendirip mevcut türbülans akımındaki girdapların dönme kuvvetini ve enerjisini kullanarak ve enerji tasarrufu sağlamaktadır. Bu gözlemler değerlendirildiğinde saha çalışmasının önemi ortaya çıkmaktadır. Bu tez kapsamında, ilk aşamada balık geçidi altına kurulan kamera sistemi ile elde edilen görüntüler üzerinde veri etiketleme ile veri seti oluşturulması işlemi üzerinde çalışılmıştır. Balık geçidi içindeki su altı görüntülerinden balık bölgeleri bölütlenerek maske görüntüleri oluşturulmuştur. Balıkların kuyruk sallama frekansları video görüntülerinin çerçevelere ayrılması ve her çerçevenin manuel olarak incelenmesi ile etiketlenmiştir. Balıkların kuyruk frekanslarının tespit edilmesinde balığın kameraya göre poz açısından kaynaklanan olası performans kaybı etkileri de düşünülerek balıkların kuyruk bölgeleri kuyruk hareketinin genliğini kapsayacak kadar geniş kırpılmış, böylece balık kuyruğu bölütlemesini sağlayan maske resimleri oluşturulmuştur. Bu maske resimlerinin çıkarılarak balık bölütleme etiketlerinin elde edilmesi işlemi elle yapılmıştır. Daha sonra, balıkların lokal ve zamansal balık hareket örüntülerini hareketli nesne tanıma ve derin öğrenme (DL) ile özellik çıkarma yöntemleriyle balıkların yerini tespit eden yöntem geliştirilmiştir. İlk önce giriş su altı görüntülerinin gamma düzeltme yöntemi ile kontrast ve parlaklık ayarı önişleme adımında düzenlenmiştir. Daha sonra, oluşturulan balık veri seti ile derin öğrenme tabanlı yaklaşımın yüksek temsil edici yapısı kullanılarak özellik öğrenmesi işlemi gerçekleştirilmiştir. Sistemin çalışma zamanı verimliliği de düşünülerek eğitim aşamasında Aşırı Öğrenme Makineleri (ELM) yöntemi ile sığ (tek katmanlı) yapay sinir ağından yararlanılmıştır.Kamera görüntüleri üzerinde hareketli objeleri tanımlamak bir çok uygulamada fayda sağladığından, bilgisayarla görü alanında araştırmaların yoğun olduğu problemlerden biridir. Arka planı belirlemek uygulama alanına göre genellikle farklılık gösterir. Bu tezdeki uygulamadan örnek vermek gerekirse, kamera görüntüleri üzerinden balıkların sayımının yapılması deniz bilimciler için önemli verilerden birini teşkil etmektedir. Bu uygulamada su altı görüntülerdeki balık haricindeki her nesne arka planı oluşturmaktadır. Arka plan çıkarma aşamasında çerçeve farkı, Gauss karışım modelleri (GMM) ve ViBe yöntemleri karşılaştırılmıştır. Farklı yöntemlerin sonuçlarını birleştiren çözümler de denenmiştir.Bu tezde sunulan balık tanıma sisteminin ilk aşamasında hareket eden objeler arka plan çıkarma yöntemleri ile bulunarak aday bölgeler hesaplanır. Bu aşamada morfolojik görüntü işleme yöntemleri ile aday bölgeler arasındaki bütünlük dengesi arttırılır. Daha sonra derin öğrenme ve ELM yöntemleri ile eğitilen balık bulucu modülü ile aday bölgeler filtrelenerek balık tanıma gerçekleştirilmiştir. Bu yöntem hem saha görüntüleri hem de laboratuvar ortamındaki sazlık tipi balık geçidi su altı görüntülerinde analiz edilmiştir. Önerilen balık tanıma sistemi üzerinde yapılan deneylerde balık geçidi içindeki kameradan alınan su altı görüntülerindeki bulanıklık, sudaki dalgalardan ve akımdan kaynaklanan aydınlanmadaki değişimler ve hareketli gölgeler, sazlık ve yosun gibi dinamik objelerin yanı sıra akıntının kuvvetinden dolayı su altı kamerasının sallanması gibi birçok parametre düşünüldüğünde bu karmaşık bilgisayarla görü probleminde umut vadedici sonuçlar alınmıştır. Sonraki aşamada, balıkların kuyruk sallama frekansını sunulan sinyal işleme tabanlı yöntemler ile hesaplayan sistem anlatılmıştır. Balığın kuyruk sallama frekansı balığın harcadığı enerji, itme hızı (burst speed) ve ters yöndeki akıntının kuvveti gibi birçok parametre ile doğrudan ilişkili olan oldukça önemli bir parametredir. Kameralar aracılıyla kuyruk sallama frekansının çıkarılmasının balıklara RFID etiketi takılarak yapılan ölçüme göre belirli avantajları vardır. Örneğin, RFID sisteminde takılan etiketin balığın hareketini nasıl etkileyeceğine dair kestirimde bulunmak zordur ve takılan etiket balığın hareketini kısıtlayıp ölçümde hatalara yol açabilir. Oysaki, kamera tabanlı analizde balığa fiziksel bir müdahale yoktur. Frekans ve periyodiklik tahmini sinyal işleme uygulamalarında sıklıkla rastlanan bir işlemlerden biridir. Bu tezde geliştirilen kuyruk frekansı hesaplama yönteminde ortalama büyüklük farkı fonksiyonu (AMDF) ve otokorelasyon fonksiyonu (ACF) ile iki boyutlu görüntü verisi üzerinde hesaplama yapılmıştır. Ayrıca iki yöntemin sonuçları farklı ortamlardan ve kamera açılarından elde edilen su altı görüntülerinde karşılaştırılmıştır.Yapılan deneyler sonucunda balık geçidi verimliliği için önemli olan parametrelerin hesaplanması için ilk adımları atacak veriler yorumlanmıştır. ELM yöntemindeki aktivasyon fonksiyonu için farklı parametreler test edilmiştir. Ayrıca, gizli katmandaki nöron sayısının eğitim aşamasında systemin performansına olan etkileri test edilmiştir. Balığın kuyruk frekansını hesaplamak için geliştirilen yöntemler üzerinde yapılan testler, balıkların farklı poz ve kamera açılarına sahip görüntülerindeki sonuçların tümünü içerir. Balık tanıma sistemi ile balıkların balık geçidinin farklı bölgelerine göre dağılımını veren ısı grafiğini çıkarmak gibi faydalı analizlerin yapılmasının önü açılmıştır. Burada balığın önden çekilen görüntüsünde kuyruğun balığın baş kısmı tarafından gizlenebileceğini ve kısmi olarak görünebileceğini belirtmek gerekir. Ayrıca, balığın profilden (yan) alınan görüntülerde kuyruğun simetrik olarak sallanma durumları kısmi olarak gözlenir. Bu görüntülerde diğer pozlara kıyasla kuyruk frekansı hesaplama yönteminin performansının daha düşük olduğu gözlenmiştir. Sistemin tahmin hassasiyetini değerlendirmede ortalama kareli hata (MSE) metriğinden yararlanılmıştır.Sonuç olarak, bu tezde balık geçitlerinin verimliliğinin değerlendirilmesinde literatüre katkıda bulunacak bilgisayarla görme ve sinyal işleme tabanlı analiz yöntemleri geliştirilmiştir. Yapılan deneyler ile sistemin performansı değerlendirildiğinde, önerilen balık tanıma ve balık kuyruğu hesaplama yöntemlerinin hem balık geçitlerinin hem de genel amaçlı su altı balık görüntülerin analizinde faydalı olabileceği görülmektedir. Balık geçitlerinin doğru bir şekilde tasarlanması biyolojik, hidrolik ve kinematik birçok parametreyi içeren analizler gerektiren kompleks bir süreçtir. Tasarlanan balık geçitlerinin ve su kanallarının çoğunun balıkların geçişini sağlamada yeterince verimli olmamaktadır. Bunun en büyük sebeplerinden biri de balık geçitlerinin verimliliğinin analiz edilmesinde yeterli verilerin ve ölçüm tekniklerinin olmamasıdır. Bu durum, bu tezdeki çalışmanın önemini doğrulamaktadır. Gelecekteki çalışmada üç boyutlu çıktı üretecek çoklu kamera sistemi tasarlanıp kalibrasyonunun yapılması ve derinlik bilgisini de kullanan bir ölçüm sisteminin geliştirilmesi hedeflenmektedir. Bu sistem ile üç boyutlu balık göç rotalarının çıkarılması ve ısı grafiğinin elde edilmesi sağlanabilir. Resimler üzerinde balıkların yerlerinin tespit edilmesi işlemi de aynı şekilde derinlik bilgisini hesaba katacak şekilde güncellenebilir.

For decades, with the growth of the human population, the need for energy and water resources has been increasing. Hydroelectricity, which is the most commonly used form among the all renewable energy types, is also increasingly used by means of the hydropower plants. Hydroelectricity generated from hydropower was expected to increase about 3.1% each year for the next 25 years. Also, with a growing human population, number of dams and weirs are in increasing trend. These man-made structures have damage on the ecological stability of the aquatic animals that are living in rivers, especially fish. For instance, dams or hydropower plants can alter the flow regime of the river which directly affects both physical and biologic characteristics of the river.A common way to remove these negative effects of the human activities on rivers is to establish a structure that allows a free passage for aquatic animals. Fish passage is a structure that facilitates the free passage of migrating fish through a dam, hydropower plant or another human-made or natural obstructions. Fish passage may be designed to facilitate passage of migrating fish in either an upstream or a downstream direction. Aim of the fish passage is to provide a free way to endemic fish species and provide equal opportunity to all components of the fish population.Fish passage design is considered to be successful and proper if it is physically and ecologically consistent and as similar as the natural parameters of the targeted environment. For instance, it is not desired for the fish passage that predator or prey species gain advantages from the design of it. Unfortunately, not all fish passage designs are efficient. In order to achieve these goals of fish passage, extensive research on the fishway design is required to be undertaken. This thesis aims to fulfill extensive research on computer vision and signal processing based tools and techniques for fish movement analysis in order to contribute in the understanding of fish behaviors in fish passages.Water flow speed and other parameters related to fluid dynamics and hydraulic measurements are important in the fish passage evaluation, yet they are not sufficient alone. Kinematic data of fish and other biological parameters also provides very valuable information in terms of interpreting movements of fish inside the passage. Some of the most important parameters of fish kinematics for fishway evaluation are fish swimming speed and acceleration, trajectories inside the fishway and tail beat frequency and amplitude.In this thesis, first part of the work that is undertaken is the process of composing a dataset by labeling the data acquired from the camera setup inside fishways. Underwater images acquired inside of the fish passages are divided into regions that are meaningful in terms of interpreting the design of the fish passage. Labeling of fish tail beat frequency values is done by extracting all frames of underwater videos and then examining each frame manually. Tail regions of fish area is cropped wide enough to contain all oscillation range of the tail considering possible loss of the performance during the estimation of fish tail beat frequency, so that masked images for the fish tail dataset are generated. After generating datasets, training of the machine learning based fish detection is performed.In the first phase of the fish detection system proposed in this thesis, moving objects are detected and fish candidate regions are obtained by means of the background subtraction process. In this stage, integrity of the candidate regions are enhanced by using morphological image processing operations. Then, false candidate regions are eliminated by the trained fish detector with the proposed scheme that uses extreme learning machines (ELM) and deep learning (DL) based techniques. The proposed fish detection scheme is analyzed and tested both on the lab videos and the videos obtained from the field. Promising results are obtained when considering the challenging underwater images of this application with the cluttered, highly dynamic moving objects such as seaweed and brush and the wobble of a camera due to the force of the water flow.Secondly, fish tail beat frequency estimation techniques are proposed. Frequency / periodicity estimation is a common task in the signal processing domain. Frequencies from the temporal data are calculated by transforming the two-dimensional image data by means of the average magnitude difference function (AMDF) and autocorrelation (ACF) function in the tail beat frequency estimation method developed in this thesis. Fish tail beat frequency is an important indicator that is associated with many parameters such as fish energy expenditure, burst speed and upstream flow speed. One typical advantage of the proposed camera sensor based system is that no physical attachment to fish is needed unlike the other methods such as RFID tagging.In conclusion, computer vision and signal processing based techniques and schemes are proposed in this thesis in order to contribute the research on the fishway evaluation. Extensive experiments are conducted in order to show the performance of the proposed techniques. Results show that proposed system can be useful not only for an analysis of the fish passages but also for a general-purpose movement based underwater fish analysis.