Güney Koreli araştırmacılar, el hareketlerini anlık olarak metne dönüştürerek işaret dilini çözümleyen yeni bir sistem geliştirdi. Science Advances dergisinde yayınlanan çalışmaya göre, kullanıcıların sensörlerle donatılmış yedi yüzük takmasına dayanan bu teknoloji, hem Amerikan hem de Uluslararası işaret dili kelimelerini yaklaşık yüzde 88 doğrulukla tanıyıp çevirebiliyor.
İşitme sorunu yaşayan kişilerin çoğu için işaret dili temel iletişim yöntemlerinden. İşaret dili yalnızca birtakım jestlerden ibaret değil; kendine özgü sözdizimi, grameri ve yapısı bulunan karmaşık bir dil. Ancak işaret dili bilmeyen kişilerle iletişim oldukça zor. Üstelik Dünya Sağırlar Federasyonu’na göre dünya genelinde 300’den fazla farklı işaret dili kullanılması iletişim sorununu daha da karmaşık hale getiriyor.
Söz konusu dil bariyerini aşmak için kullanılan mevcut yöntemler arasında eldiven veya kablolu sensör sistemleri bulunuyor. Ancak bu sistemler genellikle rahatsız edici oluyor, doğal el hareketlerini kısıtlıyor ve her kullanıcı için farklı ayarlamalar gerektiriyor.
Yüzük tabanlı sistem
Güney Kore’deki Yonsei Üniversitesinden araştırmacılar, WRSLT (wirelessly connected, ring-type sign language translator/kablosuz bağlantılı yüzük tipi işaret dili çevirmeni) adlı sistemi geliştirdi. Sistem, belirli parmaklara takılan yedi küçük yüzükten oluşuyor. Adından da anlaşılacağı gibi yüzükler arasında herhangi bir kablo bulunmuyor; bu da kullanıcılara tam hareket özgürlüğü ve doğal işaret yapma imkanı sağlıyor.
Her yüzüğün içinde, akıllı telefon ekranının döndürüldüğünde yön değiştirmesini sağlayan teknolojiyle aynı türden küçük bir ivmeölçer yer alıyor. Kullanıcı yüzükleri takarak işaret dili kullandığında, sensörler parmakların yer çekimine göre yönünü ölçüyor ve el hareketlerinin yönünü kaydediyor.
Bu sinyaller daha sonra Bluetooth çoklu bağlantı teknolojisi aracılığıyla akıllı telefona veya bilgisayara gönderiliyor. Son aşamada ise yapay zeka, bu hareket ve jestleri yazılı metne dönüştürüyor. Araştırma ekibi makalede, “WRSLT, tamamen kablosuz ve modüler yapısı sayesinde farklı kullanıcılar ve işaret dilleri arasında genellenebilir gerçek zamanlı, cümle düzeyinde çeviri imkanı sunuyor” ifadelerini kullandı.
Şu anda WRSLT, Amerikan İşaret Dili’nde (ASL) ve Uluslararası İşaret Dili’nde (ISL) 100’er kelimeyi tanıyabiliyor.
Sistem önce belirli bir kullanıcı grubuyla eğitildi, ardından eğitim sürecine dahil edilmeyen farklı kullanıcılar üzerinde test edildi. Sonuçlarda sistem, ISL kelimelerini yüzde 88,5; ASL kelimelerini ise yüzde 88,3 doğruluk oranıyla tanıdı.
Araştırmacılar, “Kullanıcılar arasındaki farklılıklara ve sensör hizalamalarındaki olası değişimlere rağmen sistem yüksek tanıma doğruluğu elde etti. Bu da önerilen platformun genellenebilirliğini ve dayanıklılığını doğruluyor” değerlendirmesinde bulundu.
Araştırma ekibinin bir sonraki hedefi ise yüzükleri daha da küçültmek ve yapay zeka eğitim verilerini daha fazla kelime ve farklı işaret dillerini kapsayacak şekilde genişletmek.
Kaynak: Science Advances