Yapay zeka ses kayıtlarından görüntü oluşturabilecek

Teksas Üniversitesi’nden araştırmacılar, sokakların ses kayıtlarından gerçek görüntüler oluşturabilen bir yapay zeka modeli geliştirdi. Bu model, sesleri analiz ederek, seslerin ait olduğu ortamın görüntüsünü oluşturabiliyor. 

Bu yapay zeka modeli, Teksas Üniversitesi’nden Doç. Dr. Yuhao Kang ve ekibi tarafından, “Ses Manzarasından Görüntüye Yayılma Modeli” ile yani 10 saniyelik sesli ve görsel kliplerden oluşan bir veri kümesini yapay zekaya öğreterek geliştirildi.

Bu klipler, Kuzey Amerika, Asya ve Avrupa’da bulunan sokakların YouTube videolarından alınan durağan görüntüler ve ortam seslerinden oluşuyor. Derin öğrenme algoritmalarıyla eğitilen yapay zeka, seslerin görüntülerdeki hangi öğelere karşılık geldiğini ve hangi ses niteliklerinin hangi görsel ortamlara uyduğunu öğrendi.

Eğitim tamamlandıktan sonra, yapay zekadan yalnızca kaydedilen ortam sesine dayanarak görüntüler oluşturması istendi. Daha sonra bir grup jüri üyesi, bu görüntülerin her birini, diğer sokaklara ait iki farklı üretilmiş görüntüyle birlikte izledi ve görüntünün temel alındığı video ses kaydını dinledi. Jüri üyelerinden, üç görüntüden hangisinin sese karşılık geldiğini belirlemeleri istendiğinde, yüzde 80 oranında doğru tahmin yapıldı.

Oluşturulan görüntüler, bilgisayar analizinde, gökyüzü, yeşil alanlar ve binaların oranlarının orijinal videolardakilerle ilişkili olduğunu gösterdi. Hatta birçok durumda oluşturulan görüntüler, kaynak videoların güneşli, bulutlu veya gece gibi ışık koşullarını da yansıtmayı başardı. Bu durum, örneğin geceleri azalan trafik gürültüsü veya gece böceklerinin sesleri gibi faktörlerle mümkün kılındı.

Bilim insanları, yakın zamanda Nature dergisinde yayınlanan makalelerinde çalışmanın önemini “Sonuçlar, görsel ve işitsel algıların insan ruh sağlığı üzerindeki etkilerine dair bilgimizi artırabilir, kentsel tasarım uygulamalarına rehberlik edebilir ve topluluklardaki genel yaşam kalitesini iyileştirebilir.” şeklinde açıkladı.

Kaynak: Austin Teksas Üniversitesi