Multi-lingual depression-level assessment from conversational speech using acoustic and text features

Abstract

Depresyon, bireylere ekonomik, refah düzeyi, dolayısıyla üretgenlik açısından büyük bir yük olan, yaygın bir zihinsel sağlık sorunudur. Erken tanı ve depresyonun tespiti tedaviye yardımcı olabilir, ancak tanı genellikle bir sağlık kuruluşu ile iletişim veya yapılandırılmış tanısal bir anket gerektirir. Bu nedenle, günlük hayatta depresyon belirtilerini izleyebilecek göze batmayan önlemler, klinik tedavi için depresyonun izlenmesinde büyük yarar sağlayabilir. Depresyonun vokal biyobelirteçleri, güncel araştırmaların odağı olan, günlük hayatta depresyon belirtilerini değerlendirmede potansiyel olarak kullanılabilecek etkili bir araçtır. Görsel-işitsel özelliklerden depresyon düzeylerini otomatik olarak değerlendirme çabalarına rağmen, akustik özellikler ile birlikte yazılı metin kullanımı daha yeni bir araştırma alanı olarak ortaya çıkmıştır. Ek olarak, veri toplanmasındaki zorluk ve araştırmaya açık sınırlı miktarda veri de algoritmaların başarısını engelleyen zorluklardandır. Bu makalenin sunduğu katkılardan biri, öznitelik seçimi için veritabanı olarak birden çok dil kullanmaktır. Etkili bir öznitelik seçimi, az sayıda konuşma verisinden çok sayıda öznitelik elde edilebildiğinden dolayı, başarılı bir çözüm için çok önemlidir. önerilen çok dilli yöntemimizin daha iyi öznitelikler seçmede etkili olduğu ve depresyon değerlendirme doğruluğunu önemli ölçüde geliştirdiği gözlemlendi. Ayrıca, değerlendirme için metin tabanlı öznitelikler de kullanıldı ve performansı arttırması adına metin ve konuşma temelli sınıflandırıcıları birleştiren bir strateji önerildi.

Depression is a common mental health problem around the world with a large burden on economies, well-being, hence productivity, of individuals. Early diagnosis and detection of depression can aid treatment, but diagnosis typically requires an interview with a health provider or structured diagnostic questionnaire. Thus, unobtrusive measures that might be able to monitor depression symptoms in daily life could have great utility in monitoring depression for clinical treatment. Vocal biomarkers of depression are a potentially effective method of assessing depression symptoms in daily life, which is the focus of the current research.Although there have been efforts to automatically assess depression levels from audiovisual features, use of transcriptions along with the acoustic features has emerged as a more recent research venue. Moreover, difficulty in data collection and the limited amounts of data available for research are also challenges that are hampering the success of the algorithms. One of the novel contributions in this thesis is to exploit the databases from multiple languages for feature selection. Since a large number of features can be extracted from speech, and given the small amounts of training data available, effective data selection is critical for success. Our proposed multi-lingual method was effective at selecting better features and significantly improved depression assessment accuracy. In addition, text-based features were used for assessment and a novel strategy to fuse the text- and speech-based classifiers were proposed, which further boosted the performance.