Performance evaluation of real-time noisy speech recognition for mobile devices

Abstract

İletişim insanlar için önemlidir. Birçok iletişim kurma yöntemi bulunmaktadır. Bunlararasında en etkili olanı konuşmadır. Konuşma ile insanlar duygularını ve düşüncelerini rahat bir biçimde ifade edebilmektedir. Bununla birlikte, bazı insanların işitme problemi olabilir. Dahası, gürültülü bir ortamda konuşulan kelimeleri anlamak sağlıklıinsanlar için bile zor olabilir. Konuşma tanıma sistemleri, metin dönüşümüne gerçekzamanlı konuşma sağlar. Konuşma tanıma sistemleri genellikle ses dalgalarının yakalanmasını ve anlamlı metinlere dönüştürülmesini içerir.Mobil cihazlarda konuşma tanıma kullanımı, bulut sistemlerinin geliştirilmesi ile mümkün olmuştur. Ancak, gürültülü ortamlarda gürbüz ve düşük hata oranlı konuşma tanıma sistemi sağlamak hala önemli bir sorundur. Bu çalışmada, gürültülü ortamlarda kompakt bir mikrofon dizisi kullanılarak farklı konuşma örnekleri kaydedilmiş ve gerçek zamanlı bir gürültü engelleme algoritmasıyla işlenerek bir veri kümesi oluşturulmuştur. Konuşulanları anlamlı bir metne dönüştürmek için gürültü engelleme donanımı ve yazılımı olan taşınabilir bir mobil sistem önerilmiştir.Farklı bulut sistemlerinin konuşma tanıma performansını, önerilen sistemin gürültüyedayanlıklılığını, konuşmacının cinsiyetinin konuşma tanıma performansına etkisini veperformans iyileştirmeyi ölçmek için temiz, gürültülü ve gürültüden temizlenmiş konuşma örnekleri üzerinde kapsamlı testler yapılmıştır. Deney sonuçları, önerilen sistemin gürültülü ortamlarda bile iyi performans sergilediğini göstermektedir. Sonuç-lardan ayrıca anlaşılmıştır ki, mobil cihazlarda bulut tabanlı sistemleri kullanarakkonuşma tanıma yapmak için gürültü seviyesi düşük olmalıdır veya gerçek zamanlıgürültü iptali algoritmalarına ihtiyaç duyulmaktadır. Önerilen sistem gürültülü ortamlarda konuşma tanıma doğruluğunu arttırmaktadır. Böylece, elde edilen performans ve taşınabilir tasarım, sistemin günlük hayatta kullanılmasına olanak sağlamaktadır.

Communication is important for people. There are many available communication methods. One of the most effective methods is through the use of speech. People can comfortably express their feelings and thoughts by using speech. However, some people may have a hearing problem. Furthermore, understanding spoken words in a noisy environment could be a challenge even for healthy people. Speech recognition systems enable real-time speech to text conversion. They mainly involve capturing of the sound waves and converting them into meaningful texts.The use of speech recognition on mobile devices has been possible with the development of cloud systems. However, delivering a robust and low error rate speechrecognition system in a noisy environment still is a major problem. In this study, different speech samples have been recorded using a compact microphone array innoisy environments and a data set has been created by processing them through a real-time noise cancellation algorithm. A portable design of a mobile system with noise cancellation hardware and software was proposed to convert spoken words to a meaningful text.Comprehensive tests were performed on several clean, noisy and denoised speech samples to measure the speech recognition performance of different cloud systems, noiserobustness of the proposed system, the effect of gender on the speech recognition performance, and the performance improvement. The experimental results show that theproposed system provides good performance even in a noisy environment. It is also inferred from the results that in order to apply speech recognition using cloud based systems on mobile devices, the noise level has to be low or real-time noise cancellation algorithms are needed. The proposed system improves speech recognition accuracy in noisy environments. Thus, the achieved performance and portable design together enable the system to be used in daily life.