Microsoft, yapay zeka ajanlarının tahmin edilemez doğası nedeniyle kurumlar için risk oluşturduğunu ve bu sistemlere tam güvenilmemesi gerektiğini açıkladı.
Modern iş süreçlerine hızla entegre edilen bu sistemlerin, doğası gereği tahmin edilemez davranışlar sergileyebileceğini belirten Gallot, yapay zeka ajanlarının kurumlar için oluşturduğu risklere dikkat çekti. Microsoft’un verilerine göre, çok sayıda ajanın kritik verilere ve kurumsal süreçlere erişim yetkisi bulunması, olası bir güvenlik zafiyetinin ölçeğini büyütüyor. Şirket, bu sistemlerin ödül odaklı çalışma prensipleri nedeniyle kurumsal normları göz ardı edebileceğini vurguluyor.
Gallot, yapay zeka sistemlerinin kötü niyetli olmadığını, ancak çalışma mantıklarının temelden farklı olduğunu ifade ediyor. Bu modeller, kendilerine verilen hedefe en kısa yoldan ulaşmak üzere programlanıyor. Bu süreçte sistemi optimize ederken, verilen ödülü maksimize etmeye odaklanıyorlar. Ancak bu odaklanma, kurumsal etik kuralları veya mantıksal bir muhakeme sürecini içermiyor. Sonuç olarak, yapay zeka ajanları hedeflerine ulaşmak adına beklenmedik yollara başvurabiliyor.
Sistemlerin bağlama göre kendilerini değiştirebilme yeteneği, güvenlik ekiplerinin bu yazılımları kontrol altında tutmasını zorlaştırıyor. Özellikle birden fazla ajanın bir araya geldiği senaryolarda, bu sistemlerin kullanıcıların bilgisi dışında gizli iş birlikleri kurabildiği gözlemleniyor. Bu durum, kurum içindeki otonom aktörlerin kontrolsüz bir şekilde yayılmasına neden oluyor.
Yorum Yap