Bilgisayar bilimi başta olmak üzere bilimsel makalelerin özellikle özet ve giriş kısımlarının yazılmasında, giderek daha fazla araştırmacı yapay zekadan faydalanıyor.
ChatGPT’nin Kasım 2022’de piyasaya sürülmesinden bu yana büyük dil modellerinin (LLM) kullanımı pek çok alanda yaygınlaştı. Dolayısıyla, bazı bilim insanlarının araştırmalarını daha hızlı yayınlamak için ChatGPT’den yardım almaları şaşırtıcı olmayabilir.
Bununla birlikte, yapay zeka tarafından üretilen içeriğin bilimsel makalelerin çeşitliliği, kalitesi ve güvenilirliği üzerindeki etkileri henüz tam olarak bilinmiyor. Bu teknolojiler yeni ve sürekli geliştiği için, LLM kullanımını tespit etmenin kesin bir yolu da yok. Birçok kurum, kullanımı sınırlandırmak için politikalar geliştirme aşamasında.
Son yıllarda bilimsel yazımda ChatGPT’nin nasıl kullanıldığını anlamak isteyen bir araştırma ekibi, arXiv, bioRxiv ve Nature dergilerinden 1 milyon 121 bin 912 bilimsel makale ve ön baskıyı analiz etti.
Nature Human Behaviour‘da yayınlanan bu çalışmada ekip, Ocak 2020 – Eylül 2024 arasında LLM ile yazılmış içeriklerin artışını tahmin etmek için kelime frekansı değişimlerine dayalı yeni bir yöntem kullandı.
En çok özet ve giriş bölümleri yapay zekayla yazıldı
Araştırmaya göre, özet (abstract) ve giriş (introduction) bölümleri en sık LLM kullanılan kısımlar oldu. Yöntemler (methods) ve deneyler (experiments) bölümlerinde ise daha az yapay zeka kullanımı tespit edildi. Bu durum, büyük dil modellerinin özetleme yetenekleriyle açıklanabilir.
Alan olarak ise en dramatik artış bilgisayar bilimlerinde yaşandı. 2024 Eylül itibarıyla bilgisayar bilimi çalışmalarının özetlerinin yüzde 22,5’i ve giriş bölümlerinin yüzde 19,5’i muhtemelen LLM ile düzenlenmişti. Kasım 2022’de ise bu oranlar yalnızca yüzde 2,4 civarındaydı. Tüm makale türlerinde benzer oranlar bulundu.
Elektrik mühendisliği ve sistem bilimlerinde de LLM kullanımı 2024’te oldukça yüksekti; özetlerde yüzde 18,0, girişlerde yüzde 18,4.
Buna karşılık, matematik gibi alanlarda LLM kullanımı çok daha düşük kaldı. Özetlerde yüzde 7,7, girişlerde yüzde 4,1 yapay zeka desteği tespit edildi.
Nature dergilerindeki makalelerde de AI kullanımı daha düşüktü (özetlerde yüzde 8,9, girişlerde yüzde 9,4).
Araştırmacılar, bazı durumlarda LLM kullanımının daha yaygın olduğunu fark etti. Örneğin, daha fazla makale yayınlama baskısıyla sık sık ön baskı yayınlayan yazarların LLM’den daha çok faydalandığı anlaşıldı.
Kısa makaleler (5 bin kelimeden az) yazan araştırmacıların da yapay zekadan daha çok yararlandığı saptandı.
Bölgesel farklar da vardı. Çin ve Kıta Avrupası’ndan gelen makalelerde LLM kullanımı, ABD ve İngiltere’ye kıyasla daha yüksek çıktı. Bunun büyük ölçüde İngilizce dil desteği amaçlı olduğu düşünülüyor.
Çalışmaya göre, yapay zeka, bilimsel yazım sürecine hız ve kolaylık katarken, orijinallik, şeffaflık ve etik konularında yeni tartışmaları da beraberinde getiriyor. Özellikle bilgisayar bilimi gibi hızlı gelişen alanlarda LLM kullanımının artması, gelecekte akademik standartların ve denetim mekanizmalarının nasıl evrileceğine dair önemli ipuçları veriyor.
Bu verileri ortaya koyan araştırmacılar, yapay zekanın bilimsel iletişimi nasıl değiştireceğine dair önemli soruları gündeme getirdi: “LLM ile üretilen makaleler, doğruluk, yaratıcılık ve çeşitlilik açısından nasıl performans gösteriyor?”, “LLM endüstrisindeki sınırlı sayıda kar amacı güden şirketin hakimiyeti, bilimsel üretimin bağımsızlığını nasıl etkileyebilir?” bu sorulardan bazıları.
Kaynak: Phys.org
