Araştırmada, üretken yapay zeka destekli arama sistemleriyle geleneksel web aramaları arasında kaynak çeşitliliği, bilgi güvenilirliği ve istikrar açısından farklar ortaya kondu.
Ruhr Üniversitesi Bochum ve Max Planck Yazılım Sistemleri Enstitüsünden araştırmacılar, Google’ın klasik arama sistemiyle dört farklı yapay zeka tabanlı arama motorunu kıyasladı. Binlerce sorgu üzerinden yürütülen çalışmada, yapay zekanın çok daha çeşitli web sitelerinden bilgi topladığı ancak sıklıkla en güvenilir ve üst sıralardaki kaynaklardan uzaklaştığı tespit edildi.
Son otuz yıldır hayatımızda olan arama motorları, sorgularımıza yanıt olarak bağlantı listelerini sıralayarak sunuyordu. Biz ise istediğimizi bulmak için bu listeleri tek tek açıp okuyarak inceliyorduk. Artık büyük arama motorları, genellikle birkaç bağlantıyla desteklenen, tek ve tutarlı bir yanıt sunmak için üretken yapay zeka araçlarını kullanıyor. Yeni çalışmada bir grup araştırmacı, neler kazanıp neler kaybettiğimizi görmek için bu iki yaklaşımı karşılaştırdı.
Ekip, geleneksel Google Search’ü dört üretken yapay zeka arama motoruyla karşılaştırdı; Google AI Overview (AIO), Gemini, GPT-4o-Search ve GPT-4o Search Tool. Ekip, genel kültür, politika, bilim ve alışveriş gibi altı ana alanı kapsayan binlerce sorgu çalıştırdı.
Daha sonra, iki arama stilini üç temel ölçüte dayanarak detaylı bir şekilde karşılaştırdılar. İlk olarak, yapay zekanın kullandığı web sitelerini geleneksel aramanın en üst sıralarındaki bağlantılarla karşılaştırarak kaynak çeşitliliğini analiz ettiler. İkinci olarak, yapay zekanın web’de yeni bilgi aramak yerine kendi iç hafızasına ne kadar güvendiğini görmek için bilgiye dayanma oranını ölçtüler. Ardından her bir yapay zekanın nihai cevaplarının, geleneksel üst arama sonuçlarına kıyasla daha geniş bir fikir yelpazesi kapsayıp kapsamadığını belirlemek için kavramsal kapsamı incelediler. Son olarak, yapay zeka kaynaklarının ve cevaplarının zaman içinde ne kadar hızlı değiştiğini görmek için deneyi iki ay sonra tekrar çalıştırdılar.
Yapay zeka ve geleneksel arama arasında belirgin farklılıklar
arXiv ön baskı sunucusunda 13 Ekim’de yayınlanan makaleye göre, iki yaklaşım arasında belirgin farklılıklar bulundu. Yapay zeka, geleneksel aramalara kıyasla daha çeşitli web sitelerinden bilgi çekerek daha geniş bir ağ sunuyor ancak kullandığı bağlantılar genellikle en üst sıradaki arama sonuçları arasında yer almıyor. Ayrıca, yapay zekanın daha fazla kaynak kullanması, cevaplarının daha kapsamlı olduğu anlamına gelmiyor.
Araştırmacılara göre, kaynak seçimindeki ve iç bilgi kullanımındaki farklılıklar, genel konu kapsamı benzer görünse bile, kullanıcıların maruz kaldığı bakış açılarını ve gerçekleri değiştirebilir.
Bununla birlikte, yapay zeka cevaplarının zaman içinde daha az istikrarlı olma eğiliminde olduğu ve iki ay sonra önemli ölçüde değiştiği görüldü.
Araştırmacılar ayrıca, yapay zeka modelleri arasında da farklar keşfetti. Örneğin, GPT-4o Search Tool kendi iç hafızasına güvenirken, Google AI Overview ve Gemini sürekli olarak daha geniş ve güncel bir dış site havuzundan bilgi çekiyordu.
Araştırma ekibi, bir arama türünün diğerinden kesin olarak daha iyi olduğu sonucuna varamasa da yapay zeka kullanımında net bir dezavantaj olduğu ortaya kondu. Çünkü, kullanıcılar, çeşitlendirilmiş ve özetlenmiş bir yanıt alırken, geleneksel aramalardan elde ettikleri güvenilir kaynaklardan ve tutarlı sonuçlardan vazgeçmiş oluyor.
Ekip, yapay zekanın verdiği cevapların doğru bir şekilde değerlendirilebilmesi için yeni ölçütlere ve standartlara ihtiyaç duyulduğunu vurguluyor.
Kaynak: Techxplore
