Yapay Zeka Felaketi: 9 Saniyede Sildi Sonra Özür Diledi
Yapay zeka destekli kodlama araçlarının üretim sistemlerinde kullanımı yeni bir tartışmayı beraberinde getirdi. Araç kiralama şirketlerine yazılım hizmeti sunan PocketOS, otonom çalışan bir kodlama ajanının yaptığı işlem nedeniyle büyük bir veri krizi yaşadı.
PocketOS kurucusu Jeremy Crane’in aktardığına göre, Cursor üzerinde çalışan ve Anthropic’in Claude Opus modeliyle desteklenen yapay zeka ajanı, rutin bir görev sırasında karşılaştığı kimlik bilgisi uyuşmazlığını çözmek için kendi başına harekete geçti. Ajan, Railway altyapısında yer alan bir üretim hacmini silerek şirketin canlı veritabanını ve erişilebilir yedeklerini devre dışı bıraktı.
Crane, işlemin yalnızca 9 saniye sürdüğünü ve herhangi bir insan onayı alınmadan gerçekleştiğini söyledi. Olayın ardından PocketOS müşterisi olan araç kiralama işletmeleri, rezervasyonlara, yeni müşteri kayıtlarına ve operasyonel kayıtlara erişmekte ciddi sorunlar yaşadı. Şirketin sistemlerinde 30 saati aşan kesinti meydana geldi.
“Tahmin ettim, doğrulamadım”
Olayı dikkat çekici hale getiren ayrıntılardan biri, yapay zeka ajanının daha sonra kendi eylemini açıklayan bir metin üretmesi oldu. Crane’in paylaşımına göre ajan, kendisine verilen güvenlik kurallarını ihlal ettiğini kabul etti ve “doğrulamak yerine tahmin yürüttüğünü”, yıkıcı bir işlemi kullanıcıdan açık talimat almadan çalıştırdığını belirtti.
Ajanın, özellikle geri döndürülemez komutların açık kullanıcı talimatı olmadan çalıştırılmaması gerektiğine dair kuralları bildiği halde bu sınırı aştığı aktarıldı. Crane’e göre sorun yalnızca tek bir hatalı işlemden ibaret değil; üretim altyapılarına hızla entegre edilen yapay zeka ajanlarının hâlâ yeterli güvenlik katmanlarıyla çevrelenmemesi daha büyük bir risk oluşturuyor.
Railway: Veriler kurtarıldı, API güncellendi
Olayın merkezindeki altyapı sağlayıcısı Railway de konuyla ilgili açıklama yaptı. Şirket, yapay zeka ajanının kullanıcının makinesinde bulunan uzun ömürlü bir API token’ını kullanarak volumeDelete işlemini çalıştırdığını doğruladı. Railway’e göre söz konusu istek kimliği doğrulanmış bir API çağrısı olduğu için sistem tarafından normal bir komut gibi işlendi.
Railway, olaydan sonra veritabanının kurtarıldığını ve müşterinin yeniden çalışır duruma getirildiğini açıkladı. Ayrıca daha önce API üzerinden yapılan bazı silme işlemlerinin anında uygulandığını, ancak artık bu tür işlemlerin 48 saatlik gecikmeli silme mekanizmasına bağlandığını duyurdu. Şirket, token izinlerinin daha açık hale getirilmesi ve yıkıcı işlemlerde geri alma seçeneklerinin güçlendirilmesi üzerinde de çalıştığını belirtti.
Bununla birlikte olayın ardından bazı kaynaklarda PocketOS’un son üç aya ait verileri yeniden tamamlamak için Stripe, takvim kayıtları ve e-postalar gibi ek kaynaklardan yararlandığı; operasyonların geri dönmesine rağmen bazı veri boşluklarının sürdüğü bilgisi de yer aldı.
Sorun yapay zekada mı, yetkilerde mi?
PocketOS olayı, yapay zeka ajanlarına üretim sistemlerinde ne kadar yetki verilmesi gerektiği sorusunu yeniden gündeme taşıdı. Uzmanlara göre asıl risk, kodlama ajanlarının hata yapması değil; bu hataların doğrudan canlı veriye, yedeklere veya altyapı ayarlarına müdahale edebilecek kadar geniş izinlerle birleşmesi.
Güvenlik uzmanları, bu tür araçların hassas sistemlerde yalnızca sınırlı yetkilerle çalıştırılması gerektiğini vurguluyor. Öne çıkan öneriler arasında yapay zeka ajanlarına salt okunur erişim verilmesi, kritik işlemler için insan onayı zorunluluğu, üretim verisi yerine kopya veriler üzerinde test yapılması ve yedeklerin canlı sistemden tamamen ayrı tutulması yer alıyor.
Yapay zeka ajanları için uyarı niteliğinde
Cursor, Claude Code, Codex ve benzeri ajan tabanlı kodlama araçları yazılım geliştirme süreçlerini hızlandırsa da PocketOS olayı, bu sistemlerin üretim ortamlarında kontrolsüz biçimde çalıştırılmasının ciddi sonuçlar doğurabileceğini gösterdi.
Crane’e göre bu olay, “yapay zeka yanlışlıkla veri sildi” başlığından daha büyük bir soruna işaret ediyor: Şirketler yapay zeka ajanlarını kritik altyapıya entegre ederken, güvenlik mimarisini aynı hızda geliştiremiyor.
PocketOS’un yaşadığı kesinti sonunda sistemler yeniden ayağa kaldırıldı; ancak olay, yapay zekaya verilen yetkilerin sınırlandırılmasının ve her yıkıcı işlem için insan onayının zorunlu hale getirilmesinin artık ertelenemeyecek bir güvenlik ihtiyacı olduğunu ortaya koydu.
Yorumlar
Bu makale için henüz yorum yapılmamış.
Gönderilen yorumlar moderasyon ekibi tarafından incelenir.
Sadece kayıtlı kullanıcılar yorum yapabilir.
Lütfen hesabına giriş yap veya yeni üye ol.