King’s College London’da yapılan, Mercedes-AMG PETRONAS Formula 1 Takımı’nın mühendislerinin de yer aldığı yeni çalışma F1 yarışlarında stratejik galibiyeti getiren bir yapay zeka sistemi geliştirdi. Temel amacı yüklenen verileri inceleyip yarışta rekabet getirmek olan sistem, Formula 1’de fark yaratabilir.
F1 takımları yarışlardan önce “Monte Carlo” denen simülasyonları sabit stratejiler olarak belirliyor. Monte Carlo simulasyonu, karmaşık bir durumdaki olası sonuçları binlerce rastgele örneklem kurarak tahmin eden bir olasılık sistemi. Ancak bu simülasyonları çalıştırmak uzun sürüyor ve yarış anındaki beklenmedik olaylara uyum sağlamakta yetersiz kalıyor. Geliştirilen yapay zeka sistemi ise yarışın anlık dinamik ve öngörülemez yapısına anında tepki vererek stratejiyi canlı olarak değiştiriyor. Sistem yarış stratejisi uzmanlarının karar verme süreçlerini destekleyen ve risk analizi yapmalarına olanak tanıyan bir canlı yarış destek aracı olarak görülüyor.
Yarış sırasında alınan canlı veriler bir çevirici arayüz sayesinde anlık olarak yapay zekanın okuyabileceği formata dönüştürülüp modele aktarılıyor. Yapay zeka bu verileri işleyerek strateji önerisinde bulunuyor. Yapay zeka sadece karar önerisinde bulunmakla kalmıyor, verdiği kararın stratejik olarak mantığını da takıma anlatıyor. Takım strateji uzmanları ise bu tavsiyelerin mantığını inceleyerek gerçekten yararlı olup olmadığına karar veriyor. Eğer takım strateji uzmanları yapay zekanın önerdiği tavsiyeleri onaylarsa ve takım için iyi bir hamle olduğuna karar kullanılabilir hale geliyor.
Lewis Hamilton’un aracı ile test edildi
Araştırmacılar en iyi öğrenme sistemini bulmak için DQN, CDQN, A3C, DRQN adı verilen farklı pekiştirmeli öğrenme sistemlerini test ettiler. Test sonucunda Derin Tekrarlayan Q – Ağı (DRQN) isimli algoritma, binlerce kez tekrarlanan simülasyonların sonucunda aracı rakiplerinden daha üst sıralara taşıyarak ortalama bitiş sıralaması (average finishing position) metriğinde en başarılı model olarak seçildi. Araştırmacıların DRQN algoritmasını tercih etmesinin sebebi, sistemin geçmişi hatırlayabilen yani yarış anında diğer araçlarla aradaki farkın kapanıp kapanmadığı gibi zaman içindeki dinamikleri hafızasında tutabilen bir mimariye sahip olması.
RSRL (Yarış Stratejisi Pekiştirmeli Öğrenme) adını verdikleri proje, kararlarını deneme yanılma yoluyla optimize eden bir yapay zeka modeli. Yarış öncesinde sabit stratejiler belirleyen geleneksel yöntemlerin aksine model, öngörülemeyen yarış koşullarına anlık olarak tepki verebilecek şekilde çalışıyor. Sistem, 2023 Bahreyn Grand Prix’sinde Lewis Hamilton’ın aracı kullanılarak binlerce kez simüle edildi. Test sonuçlarına göre RSRL modeli, mevcut yapay zeka kullanmayan en iyi tekniklerin ulaştığı ortalama 5.63’lük dereceyi geride bırakarak aracı ortalama 5.33’üncü sıraya taşıdı. Üstelik yapay zeka sadece kuralları izlemekle kalmadı; kendisine doğrudan öğretilmediği halde, yeni lastiğin hız avantajını kullanarak öndeki aracı geçmek için erken pit yapma taktiği olan “undercutting” hamlesini tamamen kendi kendine keşfedip başarıyla uyguladı.
Puanlama sistemi ile çalışıyor
Sistemin işleyişi üç temel bileşenin birbiriyle etkileşime girdiği bir döngüye dayanıyor. İlk olarak yapay zeka, karar vermeden önce yarışın o anki durumunu analiz ediyor. Her turda sisteme yarışın yüzde kaçının tamamlandığı o anki lastik türü, lastiğin aşınma seviyesi, elde kalan kullanılabilir lastiklerin sayısı, önde ve arkada olan araçla zaman farkı ve son turun normal bir tura göre ne kadar hızlı veya yavaş bitirildiği gibi sayısal verileri girdi olarak alıyor. İkinci durumda model, gelen verileri inceliyor ve her turda yapabileceği 4 hamleden birini seçmesi bekleniyor: Pite girmemek, yumuşak lastik için pite girmek, orta lastik için pite girmek veya sert lastik için pite girmek. Söz konusu üçüncü bileşen ise ödül ve ceza sistemini açıklıyor. Yapay zeka öğrenme sürecinde temel bir ödül ceza sistemi kullanıyor. Bu 4 seçenekten hangisinin doğru olduğunu bir puanlama sistemi sayesinde öğreniyor. Modelin amacı yarış sonunda alacağı toplam puanı (ödül) en üst düzeye çıkarmak. Eğer kural dışı bir şey yaparsa örneğin elde olmayan bir lastiği takmayı önerirse anında -1000 puan kesiliyor. Zorunlu olan ilk pit-stop haricinde yapılan ekstra pit- stoplar için -10 puan ceza verilirken yarışa devam edilen her tur için 1 puan veriliyor. Eğer yapay zeka yarışı ilk 10 sırada kurallara uygun bitirmeyi başarırsa F1’in gerçek puanlama sisteminin 100 katı kadar büyük bir ödül alıyor.
Araştırmacılar yeni modeli; karar verici yapay zeka olduğu için insanların yerini yapay zekanın alacağı şeklinde değil, bu aracın risk değerlendirmesinde kullanılacağı ve F1 gibi strateji gerektiren yarışlarda galibiyet getirebileceği şeklinde yorumluyor. Ayrıca araştırmacılar modeli daha güvenilir stratejiler geliştirmesi için geliştirilmesi gerektiğini de belirtiyor.
Kaynak: Machine Learning