Online detection of pilot workload by using FNIR sensors

Abstract

Havacılık gibi emniyet tedbirlerinin kritik olduğu bir alanda, pilotların mental iş yükünün doğru bir şekilde ölçülüp yorumlanması operasyonun güvenli bir şekilde tamamlanmasında kullanılacak önemli bir metottur. Ancak doğru ölçümleri çevrim içi olarak pilotun uçuş kabiliyetlerini sınırlandırmadan yapabilmek insan faktörü ve havacılık psikolojisi açısından üzerinde çalışılan aktif bir çalışma alanı haline gelmiştir. Bu tez çalışmasında pilotların mental iş yükünün simülasyon ortamında ve çevrim içi olarak ölçülmesi ve bu ölçümlerin kullanılarak gerekli tedbirlerin alınmasına vesile olacak çalışmalara zemin hazırlanması hedeflenmiştir. fNIR (Functional Near Infrared Spectroscopy) teknolojisinin insanlı uygulamalardaki başarısı ve sensörlerinin diğer beyin görüntüleme yöntemlerine göre pilotu rahatsız etmeyecek daha ergonomik yapısı nedeniyle ölçümler fNIR sensör ve kontrol üniteleri ile yapılmıştır. İyi tanımlanmış çeşitli test senaryoları ile önce çevrim dışı olarak ölçümler yapılıp algoritmalar üretilmiş, daha sonra da bu algoritmaları kullanarak çevrim içi sonuçlar üretecek bir yazılım geliştirilmiştir. Elde edilen bulgular doğrusal olmayan algoritmalar kullanılarak tüm pilotlardan kısmi verilerle geliştirilen modellerin test sonuçlarının oldukça başarılı olduğuna işaret etmektedir. Yüksek doğruluk skorları veren modeller sırasıyla ancak bir birine çok yakın olarak RBF çekirdek fonksiyonlu SVM, LSTM ve RNN makine öğrenmesi algoritmalarıyla geliştirilmiştir.

Measuring mental workload of pilots and evaluating such measurements are important concerns in the aviation domain that requires high safety critical precautions. However, obtaining valid online measures without reducing operational capabilities of pilots remains to be an active area of research in human factors and aviation psychology. The aim of this thesis is to develop online measures for monitoring the changes of pilots' mental workload and establish a basis for follow-up studies that may use these measurements to implement new types of safety precautions in the cockpit. Since Functional Near-Infrared Spectroscopy (fNIRS) technology has been successfully employed in recent human factors studies and fNIRS sensors have an ergonomic design that minimizes the discomfort of pilots as compared to other brain imaging methods, fNIRS optical brain imaging technology is employed in this thesis study. Firstly, changes in the mental workload of pilots are studied as performing offline analyses in well-defined test scenarios in order to devise physiological patterns and algorithms for mental workload assessment. Afterwards, a software that can make online mental workload assessment by using these algorithms is developed and tested. The results indicate that models that are trained over data sampled from all pilots' sessions yielded the highest classification accuracy. SVM with RBF kernel function, LSTM and RNN which are used during the model development yield the highest accuracy scores with the given order, albeit with similar results.