Google araştırmacıları, büyük dil modellerinin insanlar gibi uykuda öğrendiklerini pekiştirmesini sağlayan yapay zekâ uyku yöntemini tanıttı. Sistem, yıkıcı unutma sorununa çözüm arıyor.
Google'ın yapay zekâ uyku yöntemi, modellerin öğrendiklerini uyku aşamasında kalıcı hâle getirmesini ve eski bilgileri unutmamasını hedefliyor.
Google'da SDN'yi tercih edilen kaynak yap Google araştırmacıları, yapay zekâ uyku yöntemi adını verebileceğimiz yeni bir öğrenme sistemi önerdi. Amaç, büyük dil modellerinin yeni bilgileri kalıcı olarak öğrenmesi. Üstelik bunu eski bilgileri kaybetmeden yapması hedefleniyor.
Örneğin ChatGPT, Gemini ve Claude gibi modeller bugün sunulan bir belgeyi yalnızca o sohbet sırasında kullanabiliyor. Çünkü sohbet bitince bilgi çoğu zaman kayboluyor ya da kullanıcıya özel bir bellek girdisi olarak kalıyor. Ayrıca bu bilgiler modelin genel bilgi dağarcığına eklenmiyor.
Bu nedenle kalıcı öğrenme için yeniden eğitim ya da ince ayar (fine-tuning) gerekiyor. Ancak bu yöntemin de bir sorunu var. Çünkü model yeni şeyler öğrenirken eski bilgi ve becerilerini kaybedebiliyor. Nitekim literatürde buna "yıkıcı unutma" (catastrophic forgetting) deniyor.
Öncelikle sistem, modelin çalışmasını iki aşamaya ayırıyor: aktif (uyanık) aşama ve uyku aşaması. Aktif aşamada model ayrıca kullanıcılarla konuşuyor ve yeni bilgileri kısa süreli belleğinde tutuyor. Ancak bu bilgiler henüz kalıcı parametrelere aktarılmıyor.
Yorum Yap