Using crosslingual information for keyword search in low resource languages

Abstract

Anahtar Sözcük Arama (ASA), metin halinde verilen bir sorgunun büyük, etiketlenmemiş bir konuşma dokümanı içinde bulunmasını amaçlayan, konuşma arama problemlerinin bir alt kümesidir. ASA'ya en hakim yaklaşım, Otomatik Konuşma Tanıma (OKT) sistemleri ile konuşma verisini metne çevirme ve aramayı OKT örülerinden elde edilen dizinler içerisinde gerçekleştirmektir. Bu örüleri elde etmekte kullanılan Geniş Dağarcıklı Sürekli Konuşma Tanıma (GDSKT) sistemleri iyi bir konuşma tanıma, ve dolayısıyla anahtar sozcuk arama performansi icin tipik olara muazzam miktarlarda etiketli veri gerektirmektedir. Bu nedenle, nispeten az etiketli eğitim verisi olan diller için inşa edilen ASA modelleri, OKT performansında yasanan düşüşe eşlik eden arama performansındaki bozulma ile mücadele etmelidir. Bu bozulma, egitim verisinin dagarcigi disinda (DD) kalan terimlerin mevcudiyeti ile daha da kotuye gitmektedir. ASA performansının böyle bir ortamda geliştirilmesinin bir yolu, diğer dillerden gelen bilgilerden yararlanmaktır. Bu çalışmada, dağarcıktan bagimsiz bir ASA modeli oluşturmak için çok dilli bir gösterim kullanmaktayiz. Kaynak diller üzerinde eğitilmiş bir sinir ağından elde edilen çok dilli darboğaz gösterimleri, hedef dillerde uzaklık ölçütü öğrenme temelli ASA motorunu eğitmek için kullanılır. IARPA Babel Programındaki kısıtlı kaynaklı veri kümeleriyle gerçekleştirilen deneyler, önerilen sistemin daha geleneksel çok dilli modellere alternatif olarak veya onlarla birlikte kullanmanın yararlarını ortaya koymuştur. Son derece kısıtlı kaynak ortamında, önerilen sistemin performansı, (yine çok dilli verilerle de eğitilmiş) temel sisteminkini aşmaktadır. Kaynak kısıtlarının daha gevsetildigi bir başka kısıtlı kaynak ortamında ise , önerilen sistemin DD terimlerde temel sistemden daha yüksek başarıma sahip olduğu görülmüştür. Her iki durumda da, iki sistemin sonuçlarını birleştirmenin daha da iyi bir DD direnci ve yüksek bir genel performans sağladığı gösterilmektedir.

Keyword search (KWS) is a subtask of spoken content retrieval that aims to solve the problem of locating a written query within a large, unlabeled spoken document. The dominant approach to KWS involves transcribing the document using an automatic speech recognition (ASR) system and conducting the search on indexes obtained from the ASR lattices. The large vocabulary continuous speech recognition (LVCSR) systems used to decode the document typically require enormous amounts of labeled data to give good recognition and, subsequently, search accuracy. Therefore, KWS models built for languages for with relatively little labeled training data need to contend with the deterioration in search performance that accompanies a decline in ASR performance. This deterioration is exacerbated by the increased incidence of search terms that are out of vocabulary (OOV) of the training data. One way of improving KWS performance in such a setting is to leverage information from other languages. In this work, we use a multilingual representation to build a vocabulary agnostic KWS model. The multilingual bottleneck (BN) representation, obtained from a neural network trained on the source languages, is used to train a metric learning based KWS engine in the target languages. Experiments on the low resource datasets from the IARPA Babel Program show the benefits of using the proposed system as an alternative to, or in tandem with, more traditional multilingual models. In an extremely low resource setting, the performance of the proposed system exceed that of the baseline system (also trained with multilingual data). Furthermore, in a milder low resource setting, the proposed system performs better on OOV term retrieval than the baseline. In either setting, we show that combining the results from both systems yields a robustness against OOV terms and better overall performance.