“Yapay zekanın dil üretim becerileri, insan zihninin işleyişine ne kadar benziyor?” sorusuna cevap arayan araştırmacılar, insanların dil becerilerini ölçen bir dizi testi ChatGPT’ye uyguladı.
Kansas Üniversitesi araştırmacıları, insanın ve ChatGPT’nin dil öğrenme süreçlerindeki farklılığı ortaya koymak için ChatGPT’yi uydurma kelimeler (nonword) ve psikodilbilimsel ölçüm teknikleriyle analiz etti.
Anlamı olmayan harf ve ses dizileri bilişsel psikoloji ve psikodilbilimde insanların dil ile ilgili performansını ölçmek için kullanılıyor. Çalışmada, ChatGPT ve insanın performansına dair bulgu elde etmek için ChatGPT’ye aynı testler uygulandı.
İlk çalışmada, ChatGPT’ye nesli tükenmiş, yani artık kullanılmayan gerçek İngilizce kelimeler verildi. 52 nesli tükenmiş kelimeden ChatGPT 36’sına doğru tanımladı. ChatGPT, 11 kelime için kelimeyi tanıyamayacağını söyledi. 3 kelime için yabancı dillerdeki kelimelerden derlenen tanımlar verdi, geriye kalan 2 kelimenin anlamını ise halüsinasyon ile yani yanlış şekilde cevapladı.
İnsan, bilmediği bir kelimeye “Bilmiyorum” deme eğilimindeyken, ChatGPT ise “yardımcı olmaya çalışırken” kelimenin sesine veya biçimine göre tahmin üretip uydurma cevap verebiliyor.
2. çalışmada, ChatGPT’ye İspanyolca kelimeler verildi ve kendisinden İngilizce benzer sesli kelimeler bulması istendi. Görev, insanların ses benzerliğini nasıl değerlendirdiğini anlamak için yaygın olarak kullanılıyor. Ancak ChatGPT, çoğu zaman dil değiştirme eğilimi gösterdi. Yani, bir İspanyolca kelimeye karşılık İngilizce benzeri kelime üretmen yerine, bambaşka dillerden karşılıklar sundu. Bu davranış, modelin dilsel sınırları insanlarınkinden farklı ele aldığını gösteriyor.
Vitevitch, deneyin insanların ve yapay zekanın dili nasıl işlediklerindeki farkı vurguladığını söylüyor. “Size İspanyolca bir kelime verip, ona benzeyen bir kelime vermenizi söylersem, siz bir İngilizce konuşan olarak bana o kelimeye benzeyen bir İngilizce kelime verirsiniz,” diyor. “Benimle dil değiştirip bana tamamen farklı bir dilden bir kelime vermezsiniz, ChatGPT’nin yaptığı ise bu oldu.”
3. çalışmada ChatGPT’y, gerçek İngilizce kelimelere benzeyen ama aslında anlamı olmayan yapay sözcükler verildi. Modelden, her kelimenin İngilizce kelimeye ne kadar benzediğini 1’den 7’ye kadar puanlaması istendi. Puanlamalar, gerçek insanların verdiği yanıtlarla karşılaştırıldı. Model, dilin ses bilgisel yapısına dair bazı örüntüleri insanlara benzer biçimde tanıyor; ama kararlarını farklı mekanizmalarla veriyor. İnsanlar bu kararı ses yapısı, hece düzeni, tanıdıklık gibi bilişsel sezgilere dayanarak verirken ChatGPT, daha çok istatistiksel örüntüler üzerinden karar veriyor.
Çalışma 4’te, ChatGPT’den var olmayan ancak belli kavramları karşılayabilecek yeni İngilizce kelimeler üretmesini istedi. Model, sıklıkla iki kelimeyi birleştirerek yeni sözcükler türetti. İnsanlar kelime oluştururken daha yaratıcı ya da kültürel bağlamdan beslenen isimler de ortaya çıkabiliyor. Fakat ChatGPT’nin “yaratıcılığı” daha tahmin edilebilir oluyor, çünkü sıklıkla birleştirme algoritmalarına dayanıyor.
Vitevitch ChatGPT için “desenler buluyor, ancak insanın aynı görevi yapmak için kullanacağı desenlerle aynı değil,” dedi.
Vitevitch’e göre bu deneyler, yapay zekanın dili nasıl bildiğini değil, nasıl ürettiğini anlamaya yardımcı oluyor. İnsanlar ve yapay zeka dili çok farklı biçimlerde işliyor. Ancak bu fark, AI’nın tehlikeli olduğu anlamına gelmiyor. Aksine, insanın zorlandığı yerlerde AI’nın nasıl destek olabileceğini göstermesi açısından değerli.
Kaynak: Eurekalert
