Pedestrian detection for railway driver support systems

Abstract

Yaya saptama, gelişmiş sürücü destek sistemlerinin üzerinde en çok çalışılan konularından biridir. Karayolu araçları için, yeterli veri kümeleri oluşturmak ve üstün sınıflayıcılar geliştirmek üzere çok büyük çaba sarfedilmiş olmasına rağmen demiryolu sistemleriyle ilgili çalışmalar çok sınırlı kalmaktadır. Tez kapsamında yapılan çalışmalar, var olan gelişmiş nesne saptama sistemlerinin (örneğin, AlexNet, VGG) ve özel olarak yaya saptama üzerine geliştirilmiş sistemlerin (örneğin, Caltech ya da INRIA gibi denektaşı veri kümeleri ile eğitilmiş sınıflayıcılar) doğrudan demiryolu çalışmalarına yapılan uygulamalarında, bu sistemde var olan zorlukların üstesinden gelebilecek yeterli performansı sağlamadığını göstermektedir. Neyse ki, demiryolu sistemi için karayolu araçlarında mevcut olduğu gibi kapsamlı ve açıklayıcı bir veri kümesinin olgunlaşmasını beklemeksizin, önceden bu kapsamlı veri kümeleri kullanılarak yaya saptamak üzere eğitilmiş çeşitli başarılı derin ağ modellerine aktarmalı öğrenme yaklaşımının uygulanması, bu sistemlerde yaya saptama amacına etkili bir çözüm sağlamaktadır. Bu bilgiler ışığında, aktarmalı öğrenme yaklaşımının uygulanabilmesi için, Demiryolu Yaya Veri Kümesi (Railway Pedestrian Dataset-RAWPED) toplanmış, etiketlenmiş ve zorluk seviyelerine göre alt gruplara ayrılmıştır. Buna ek olarak, derin ağ modellerinin, yer belirleme ve adaptasyon sınırlamaları bir sınıflayıcı topluluğu ile çözülmüştür. Elde edilen iki aşamalı sistemin çeşitli demiryolu sahnelerine uygulanması, kullanılan aktarmalı öğrenme stratejilerinin, önceden eğitilmiş modellerin yaya saptama amacı ile demiryolu sahnelerine güvenilir şekilde adaptasyonunu mümkün kıldığını göstermektedir. Ayrıca, aktarılan modellerin tamamlayıcı özellikleri ve sonuçlarının çeşitliliği de analiz edilmiştir. Tüm bu bulgulara dayanarak, ayrı ayrı modellerin sonuçlarını birleştiren ve bileşenlerinden sürekli olarak daha iyi performans gösteren yeni bir makine öğrenmesi stratejisi yapılandırılmıştır.

Pedestrian detection is one of the most studied issues of advanced driver assistance systems. Although a tremendous effort is already given to create adequate datasets and to develop advanced classifiers for cars, studies about railway systems remain very limited. The research done within the scope of the thesis shows that direct application of neither existing advanced object detection systems, nor specifically created ones for pedestrian detection (such as classifiers which is pre-trained well-known pedestrian datasets Caltech, INRIA etc.), can provide enough performance to overcome railway specific challenges. Fortunately, it is also shown that without waiting the collection of a mature dataset for railways as comprehensively diverse and annotated as the existing ones for cars, a transfer learning approach to fine-tune various successful deep models (pre-trained using both extensive image and pedestrian datasets) to railway pedestrian detection tasks provides an effective solution. In the light of this information, to achieve transfer learning, a new Railway Pedestrian Dataset (RAWPED) is collected, annotated and divided into challenge based subgroups. Moreover, the localization and adaptation limitations of deep models are resolved with a feature-classifier ensemble. The application of resulting two stage system to various railway scenes demonstrate that employed transfer learning strategies enable reliable adaptation of pre-trained models to railway pedestrian detection scenes. Furthermore, complementary properties of the transferred models, classifiers and diversity of their results are analyzed. Based on the findings, a novel machine learning strategy is structured to create an ensemble, which defragments outputs of individual models and performs consistently better than its components.