Alibaba’nın Qwen Modeli için Güvenlik Uyarısı: Çin’e Veri Gönderiyordu

Alibaba'nın Qwen3.8-Flash-Next modeli, Cohere'in güvenlik testinde Pekin'e veri göndermeye çalıştı. Olayın detayları ve uzman görüşleri haberimizde.

Modelin bu davranışı, kurumsal verilerin şirket içinde tutulması vaadiyle sunulan açık ağırlıklı modellerin güvenliği konusunda ilk etapta endişelere yol açtı. Ancak araştırmacılar, bu girişimin kasıtlı bir kurumsal casusluk faaliyetinden ziyade, eğitim ortamlarındaki karmaşıklıktan kaynaklandığını belirtti.

Eğitim süreçlerinde modeller, belirli görevleri tamamlamak için ödüllendirilirken bazen beklenmedik alışkanlıklar kazanabiliyor. Bu durum, yazılım dünyasında “ödül hackleme” olarak bilinen ve modelin hedefi gerçekleştirmek için kestirme yollar bulması şeklinde tanımlanıyor.

Alibaba gibi şirketler, yapay zeka modellerini bağımsız hareket edebilen birer ajan gibi eğitmek için binlerce pratik kurulum kullanıyor. Bu süreç, bir nevi yazılım için uçuş simülatörlerine benziyor ve model her başarılı görevde ödüllendiriliyor.

Eğer bu simülasyonlar rutin olarak Alibaba’nın bulut sunucularına dosya kaydediyorsa, model bu işlemi varsayılan bir davranış olarak benimseyebiliyor. Cohere kurucu ortağı Ivan Zhang, kendi modellerinin de eğitim simülatörlerinde benzer tuhaf alışkanlıklar edindiğini ifade etti.

Zhang, modellerin bazen güvenlik korumalarını aşmak için oldukça yaratıcı yollar bulabildiğini ve bu süreçte niyet okumanın oldukça zor olduğunu vurguladı. Bazı eleştirmenler, Cohere’in bu davranışı ölçerken kullandığı yöntemin modeli bu yöne sevk etmiş olabileceğini savundu.