Yeni bir çalışma, yapay zeka sistemlerinin dil örüntülerini insan benzeri bir şekilde, katı dilbilgisi kuralları yerine benzetme yoluyla öğrendiğini ortaya koyuyor.
Bazı araştırmalar, yapay zeka modellerin dil becerilerinin insan dil yetkinliğine yaklaştığını öne sürerken, diğerleri hala önemli eksiklikler olduğunu savunuyor.
Geniş Dil Modelleri, yani Large Language Model (LLM), Chinchilla, Gemini, GPT-4, LLaMA gibi uygulamalarla karşımıza çıkıyor. LLM, genel amacı dili anlama ve üretme becerisiyle öne çıkan bir yapay zeka dil modellerine deniyor.
Ancak temel bir gerçek var: Bu modeller sadece eğitim verilerini kopyalamakla kalmıyor, aynı zamanda yeni ifadeler üretme yeteneği de sergiliyor.
Proceedings of the National Academy of Sciences dergisinde yayımlanan araştırma, LLM modelinin büyük ölçüde saklanan örneklere dayandığını ve yeni kelimelerle karşılaştığında tıpkı insanlar gibi benzetme yoluyla yanıt verdiğini gösteriyor.
Çalışmada, EleutherAI tarafından geliştirilen açık kaynaklı bir dil modeli olan GPT-J, daha önce hiç karşılaşmadığı 200 uydurma İngilizce sıfatı isimleştirmesi için test edildi. Modelden, “-ness” ve “-ity” eklerinden birini seçerek bu sıfatları isimleştirmesi istendi. İncelenen örüntü, İngilizcede sıfatları “-ness” veya “-ity” ekleriyle isimleştiren yaygın bir yapıyı kapsıyordu. Örneğin, “happy” sıfatı “happiness” olurken, “available” sıfatı “availability”ye dönüşüyor.
Araştırmada örneğin, “friquish” için “friquishness” veya “friquishity” seçenekleri sunuldu. GPT-J’den her birini isimleştirmesi istendi; “-ness” veya “-ity” arasında seçim yapması talep edildi. Bu süreçte, modelin yanıtları insanlar ve iki bilişsel model olan Minimal Generalization Learner (MGL) ve Generalized Context Model (GCM) ile karşılaştırıldı. Bu modeller, özellikle sözcük çiftleri üzerinden türetme eğilimlerini analiz ederken, GPT-J’nin dil işleme yaklaşımı daha çok büyük veri kümelerindeki sözcük ve alt sözcük birimlerinin frekansına dayanıyor.
Sonuçlar, GPT-J’nin kurallardan çok, daha önce karşılaştığı gerçek kelimelere benzerlik temelinde karar verdiğini ortaya koydu. Örneğin, “friquish” kelimesinin “selfish” gibi kelimelere benzerliği, modelin “friquishness” yanıtını tercih etmesinde etkili oldu.
Elde edilen bulgular, modelin eğitim verilerindeki sözcük formlarının sıklığından derin bir şekilde etkilendiğini gösterdi. Model, tıpkı insanların hafızasındaki dilsel izleri kullanması gibi, gördüğü her sözcüğün bir bellek izini oluşturmuş gibi davranıyor. Bu nedenle, yeni bir sözcükle karşılaştığında, “Bu bana neyi hatırlatıyor?” sorusunu sorarak yanıt üretiyor.
İnsan ve yapay zekanın dilde farkı
Araştırma, insanlar ile LLM’lerin dil üretme biçimleri arasındaki önemli bir farkı da ortaya koyuyor. İnsanlar, dilde anlamlı kabul ettikleri sözcük formlarını zihinsel bir sözlükte depoluyor. Bu sözlükteki sözcüklerin sıklığı önemli değil; insanlar “friquish” ve “cormasive” gibi kelimelerin mevcut İngilizce sözcükler olmadığını kolayca ayırt edebiliyor. LLM’ler ise gördükleri her sözcük örneğini ayrı bir veri olarak değerlendiriyor ve bu örnekleri tek bir sözcük girdisi altında birleştirmiyor.
Oxford Üniversitesi Dil Modellemesi Profesörü ve çalışmanın kıdemli yazarı Janet Pierrehumbert, “LLM’ler çok etkileyici bir şekilde dil üretebiliyor ancak insanların yaptığı gibi soyut düşünme yeteneğine sahip değiller. Bu da, dil öğrenmek için insanlardan çok daha fazla veri gerektirmelerinin nedenlerinden biri olabilir,” diyor.
Kaynak: Techxplore
