Türkçe akraba dilleri arasında istatistiksel bilgisayarlı çeviri algoritmalarının uygulanması ve başarım testi

Abstract

Bilgisayarlı çeviri, doğal diller arası metin çevirmede kullanılan farklı yöntem veyazılımları araştırmayı amaçlayan bilgisayarlı dilbilim alt alanıdır. Bilgisayarlı çeviriaraçlarının insan çevirisi gibi yüksek seviyede sözdizimsel ve anlambilimsel analizsağlayamamasına rağmen; gelişmiş bilgisayarlı yöntemler uygulanarak yaygınkullanılan diller arası çeviride nispeten kabul edilebilir sonuçlara ulaşılmıştır. Sonyıllarda, bilgisayarlı çeviride, büyük veri üzerinde istatistiksel analizle kendi kendinieğitebilen yöntemler geliştirilmiştir. Türkçe dil ailesi üzerine yapılan bilgisayarlı çeviriaraştırmalarında, doğal dillerin kurallı yapısı çözümlenerek kural tabanlı yöntemlerinuygulandığı, ancak baskın ve yaygın olarak araştırılan İstatistiksel Bilgisayarlı Çeviriyöntemlerinin ise sınırlı sayıda ve kısmen uygulandığı görülmektedir. Bu çalışmanınamacı, Türkçe dil ailesinin özellikleri göz önüne alınarak İstatistiksel Bilgisayarlı Çeviriyöntemlerini uygulamak ve başarımını çeviri örnekleri üzerinde test etmektir. Çalışmasürecinde, bilgisayarlı çevirinin başlangıcından bu yana gelişmesi ve mevcut durumu ileilgili alanyazın taraması yapılmıştır. Araştırmalara dayalı, Kırgız Türkçesi ve TürkiyeTürkçesi dilleri arasında İstatistiksel Bilgisayarlı Çeviri sistemi yöntemleri olarak NGRAMTabanlı ve İfade Tabanlı İstatistiksel Bilgisayarlı Çeviri sistemleriuygulanmıştır. Sistemler sınırlı paralel korpus üzerinde eğitilmiştir. İBÇ sistemlerikarmaşık metodolojilerden oluşmasıyla, İstatistiksel Bilgisayarlı Çeviri sisteminiöğretim ve işletimde büyük veri yönetiminin sağlam ve güvenilir olması için İstatistikselBilgisayarlı Çeviri araştırmacıları tarafından yaygın olarak kullanılan Moses, SRILM,Giza++, MARIE gibi araçlardan faydalanılmıştır. Çalışma kapsamında çeviri kalitesiBLEU değerlendirme yöntemi ile puanlanmıştır. Ek olarak, uygulamada geliştirilen İBÇ sistemler çevirisi için BLEU değerlendirme puanı, günümüzün gelişmiş çevrimiçiGoogle Çeviri İBÇ sistem çeviri BLEU değerlendirme puanı ile karşılaştırılmıştır.Değerlendirmede, veriler, uygulanmış sistemlerin eğitilmesinde kullanılan verilere göreuzun ve kısa, gündelik ve edebi olarak çeşitlendirilmiştir. Sonuçlara göre, sınırlı korpusüzerinde eğitilmiş sistemlerde, Kırgız Türkçesi ve Türkiye Türkçesi arasında N-GRAMTabanlı ve İfade Tabanlı İstatistiksel Bilgisayarlı Çeviri kalitesi ortalama 0.1 değerindeelde edilmiştir. Çevirisi hiç bulunmayan, ya da insan çevirisine göre uyumsuz durumlarda gözlemlenmiştir. Daha yüksek çeviri kalitesine ulaşma ve sistemler geliştirmeamacıyla çeşitli öneriler sunulmuştur.Anahtar Kelimeler: N-GRAM, istatistiksel bilgisayarlı çeviri, dil modeli, çevirimodeli, kod çözme.

Машинный перевод – процесс перевода текстов с одного естественного языка надругой с помощью специальной компьютерной программы, а также являетсяподотраслью вычислительной лингвистики. Несмотря на недостаточно точныепереводы, с точки зрения синтаксических, семантических критериев,использование усовершенствованных методов в машинном переводе, привело кполучению сравнительно приемлемых переводов. За последние годы, активноразрабатываются самообучающиеся методы статистического анализа большихобъемов данных. Современное развитие машинного перевода среди тюркскихязыков развивается в сторону методов основанные на правилах. Тем не менее,один из ведущих современных методов, метод статистического машинногоперевода, в настоящее время редко применяется среди тюркских языков.Целью данной работы является применение и тестирование методовстатистического машинного перевода, с учетом морфологических особенностейтюркских языков. В данной работе были использованы методы статистическогомашинного перевода на основе N-грамм и на основе Фраз между кыргызким итурецким языками, используя ограниченные данные обучения. В ходеисследования был проведен обзор литературы о развитии машинного перевода.Статистические системы машинного перевода на основе N-грамм и на основеФраз построены с использованием сложных методик, в связи с этим, длянадежного управления данными были применены специальные инструментарии,как Moses, SRILM, Giza++, MARIE. Качество перевода систем статистическогомашинного перевода было оценено с помощью алгоритма BLEU и дополнительносравнено с качеством переводов онлайн сервиса Google Переводчик. Согласно xiрезультатам, в системах статистического машинного перевода на основе N-грамми на основе Фраз, с использованием ограниченных данных, качество переводабыло получено среднего значения 0.1 между кыргызким и турецким языками. Вбольшинстве случаев, переводы по смыслу не соответствовали с человеческимпереводом. Для достижения более качественных текстовых переводов, былипредставлены некоторые рекомендации по улучшению систем статистическогомашинного перевода.Ключевые слова: N-грамма, статистическая система машинного перевода,модель языка, модель перевода, декодирование.