Bootstrapping a speech recognition system bu using sliding video text recognition

Abstract

İşitme engelliler haber bültenlerinde bilgi üç kip ile aktarılır; konuşma, işaret dili ve kayan yazı. Bu çalışmada, otomatik konuşma tanıma sistemi eğitimi için otomatik çeviriyazı verisi üretmek amacıyla, Saklı Markov Model tabanlı çalışan kayan yazı tanıma sistemi tasarlanmıştır. Ardından, otomatik çeviriyazılar kullanılarak otomatik konuşma tanıma sistemi eğitilmiştir.Kayan yazı tanıma sistemi asgari video verisi kullanılarak eğitilmiştir. Kayan yazıyı modellemek ve tanımak için konuşma tanıma teknikleri kullanılmıştır. Temel sistem, test setini %2.2 kelime hata oranı ile tanımaktadır. Ardından, karakter hata analizi yapılmış ve bu hataları düzeltmek için karakter tabanlı dil modeli uygulanmıştır. Son olarak, yarı-öğreticili eğitim tekniği uygulanmış ve kelime hata oranında belirgin bir azalma gözlemlenmiştir. Kelime hata oranı %1' in altına indirilmiştir.Otomatik çeviriyazılar kullanılarak, otomatik konuşma tanıma sistemi eğitilmiştir. Konuşma verisi otomatik olarak bölütlenmiş ve çeviriyazılar ile hizalanmıştır. 83 video (11 saat) kullanılarak öğreticisiz konuşma tanıma sistemi eğitilmiştir. Öğreticisiz akustik model 200K dil modeli ile beraber kullanılarak yapılan sınamada %12.7 kelime hata oranı elde edilmiştir. Kayan yazı tanıma sistemi çıktıları kullanılarak dağırcık dışı kelime oranı azaltılmış ve dağarcık dışı kelime oranının tanıma performansına etkisi gözlemlenmiştir. Son olarak, aynı eğitim setinin manüel çeviriyazısı kullanılarak öğreticili akustik model eğitilmiştir. Öğreticisiz akustik modelin performansı, öğreticili model ile karşılaştırılmıştır. Öğreticili akustik model ile öğreticisiz akustik model performansları arasında %0.4' lük kelime hata oranı gözlemlenmiştir (12.7' den 12.3' e).

In the broadcast news for the hearing impaired, the information is conveyed by three modalities: speech, sign language and sliding video text. In this work, we propose an HMM-based sliding video text recognition (SVTR) system to generate automatic transcriptions of the speech in broadcast news for the hearing impaired. Then, we bootstrap an unsupervised acoustic model by using those automatic transcriptions.The sliding video text recognition system is trained by using minimal amount of video data (7 minutes). Well known speech processing techniques are applied to model and to recognize the sliding video text. Baseline system gives 2.2% word error rate over the video test set. Then character error analysis is provided and a character based language model is employed to correct the errors. Finally semi-supervised training method is applied and significant error reduction is achieved (2.2% to 0.9%).An automatic speech recognition system is bootstrapped by using the output of the sliding video text recognizer as the transcriptions. The speech data is segmented automatically and aligned with the automatic transcriptions. An unsupervised acoustic model (U-AM) is trained with 83 videos (11 hours). 12.7% word error rate is achieved for U-AM with 200K language model. The Out of vocabulary (OOV) rates of the language models are decreased by adding the automatic transcriptions of the audio train set to the large text corpus and the effect of OOV rate on system performance is investigated. Finally, we compared the U-AM performance with the supervised one which is built from the same acoustic training corpus with manual transcriptions. Supervised acoustic model performs only 0.4% better than the U-AM (12.7% to 12.3%).