Üç boyutlu sanal model ile Türk işaret dili simülasyonu

Abstract

Gönderici ve alıcı durumundaki insanlar arasında duygu, düşünce, inanç, tutum ve davranışların sözlü, sözsüz, yazılı veya elektronik olarak aktarılmasına iletişim denir. İnsanlar arasında en yaygın kullanılan iletişim türü, temeli duyma ve konuşmaya dayanan sözlü iletişimdir. Fakat işitme kaybından kaynaklı olarak işitme engellilerin bu iletişim yöntemini ya kullanamadıkları ya da sınırlı olarak kullanabildikleri görülmektedir.İşitme engelli bireyler iletişim ihtiyacını karşılamak üzere temeli görmeye dayanan işaret dillerini kullanırlar. İşaret dilleri, işitme engellilerin kendi aralarında ve işiten bireylerle iletişimde kullandıkları en temel yöntemdir. İşaret dillerinin dil bilgisi kuralları ve işaretleri ülkeden ülkeye farklılık göstermektedir. Dünyadaki herkesin kullanabileceği doğal olmayan uluslararası bir işaret dili var olmasına karşın her ülke kendi işaret dilini kullanmaktadır. Bu dil daha çok uluslararası seviyedeki kongre ve konferanslarda tercih edilmektedir.Doğal bir dil olan Türk İşaret Dili (TİD) Türkiye'deki işitme engellilerin ana dilidir. TİD, kendine has dil bilgisi, parmak alfabesi ve işaretleri bulunan, el, yüz ve mimiklerden oluşan görsel bir dildir. Dünyadaki en eski işaret dillerinden biri olarak kabul edilen TİD'in 1953 yılında sağır dilsiz okullarında kullanımının yasaklanmasıyla bu dilin kurulması ve yaygınlaşması engellenmiştir. Bu yasağın bir sonucu olarak okullarda işaret dili öğretilememiş, tek ve ortak işaretler üretilmemiş, TİD bölgeden bölgeye farklılık gösteren bir dil halini almıştır.Bu tez çalışması için Türkçe içeriklerin 3 Boyutlu Sanal Model tarafından TİD'de simüle edildiği bir uygulama geliştirilmiştir. İşaretler, modelin eklem noktalarında konumsal ve/veya açısal değişiklik yapılmasıyla meydana gelmektedir. İşitme Engelliler İlkokulu öğretim programları incelenmiş ve çalışmada kullanılmak üzere 3 derlem oluşturulmuştur. 1. derlemde TİD dersi 1. sınıfında yer alan 21 temaya ait 400 kelime, 2. derlemde aynı dersin 2. sınıfında yer alan 9 temaya ait 130 cümle, 3. derlemde ise Türkçe dersinde yer alan 4 temaya ait 100 cümle yer almaktadır. Geliştirilen uygulamada derlemlerde yer alan içerikler dışında el şekilleri ve el dışı işaretler gibi TİD'e ait unsurlar ve etkileşimli çeviri modülleri yer almaktadır. TİD öğretiminde birliktelik sağlanmasına katkı sunacağı düşünülen bu uygulama, TİD dersinde veya TİD öğretiminin yapıldığı ortamlarda bireysel ve toplu kullanıma uygun şekilde tasarlanmıştır.Uygulamada doğal dil işleme ve TİD simülasyonu olmak üzere iki işlem süreci yer almaktadır. Doğal dil işleme analizlerine göre birtakım kurallar belirlenmiş ve bu kurallar çerçevesinde simülasyon öncesi cümlenin ara metni elde edilmiştir. Ara metin, uygulama ekranında TİD metnine dönüştürülmüş ve simülasyon gerçekleştirilmiştir. Derlemlerin doğal dil işleme teknikleriyle analizi neticesinde elde edilen sonuçların yanı sıra TİD'e, işaretlere, işaret gösteriminde kullanılan model eklem noktalarına ve el şekillerine ait veriler detaylandırılarak sunulmuştur.

Conveying people's emotion, opinion, belief, attitude and behaviors to other people via verbal, nonverbal, written means or electronically between people considered as source and receiver is called as communication. The most widely used type of communication among people is the verbal communication which is based on hearing and speaking. However, it is seen that the hearing-impaired individuals either cannot use this communication system or can use it in a limited way as a result of hearing loss.Hearing-impaired individuals use sign languages which are based on seeing in order to meet their communication needs. Sign languages are the fundamental methods which are used in the communication by the hearing-impaired individuals among themselves and also with the hearing individuals. Grammar rules and signs of sign languages differ from countries to countries. Though there is an artificial international sign language which can be used by everyone in the world, each country uses its own sign language. This sign language is mostly preferred in international congresses and conferences.Turkish Sign Language (TSL), which is a natural language, is a mother tongue of hearing-impaired individuals in Turkey. TSL is a visual language which has its own grammar, finger alphabet and signs, and consists of hand, face and facial expressions. Construction and widespread utilization of TSL, which is accepted as one of the oldest sign languages in the world, was forbidden as a result of banning the use of sign language in the deaf & dumb schools in 1953. As a result of this ban, sign language could not be taught, single and common signs were not able to be constructed, and therefore, TSL becomes a language displaying diversity among regions and provinces.Within the settings of this thesis study, an application, in which the Turkish contents are simulated in TSL by the 3-Dimensional Virtual Model, was developed. The signs are constructed via the positional and/or angular changes made in the joint points of the model. The curricula of Hearing-Impaired Primary Schools were examined and 3 corpora were constructed in order to use within the study. In the 1. corpus, 400 words related to 21 themes covered in the 1st class of TSL course were included, in the 2. corpus, 130 sentences related to 9 themes covered in the 2nd class of TSL course were included and in the 3. corpus, 100 sentences related to 4 themes covered in the Turkish course were included. There are components such as handshapes and non-manual signs which are related to TSL except the contents included in the corpora and interactive interpretation modules in the developed application. This application, which is considered to provide a contribution to the collectiveness in teaching TSL, was designed appropriately to be used individually or collectively in TSL courses or in settings where TSL teaching was carried out.There are two operation processes which are natural language processing and TSL simulation in the application. Various rules were determined according to the natural language processing analyses and an intertext of the sentence was obtained before the simulation within the settings of these rules. The intertext was interpreted into TSL text in the application screen and the simulation was carried out. Beside the results obtained as a result of the analyses of the corpora via natural language processing techniques, data related to TSL, signs, joint points of the model and handshapes used in the notation of the signs were presented in detail.