Çinli Yapay Zeka Firması Hakkında Çarpıcı İddia: Benchmark Sorularını mı Çaldı?

MiniMax'in M3.1 Flash modelinin benchmark testlerinde hile yaptığı iddia ediliyor. Artificial Analysis sorularının çalınmış olabileceği konuşuluyor.

MiniMax tarafından geliştirilen M3.1 Flash, özellikle Artificial Analysis tarafından yürütülen testlerde gösterdiği sonuçlarla teknoloji çevrelerinin dikkatini çekiyor. Ancak araştırmacılar, bu başarının arkasında benchmaxxing olarak adlandırılan ve modellerin genel yeteneklerini geliştirmek yerine test sorularını ezberlemesine dayanan bir yöntemin olabileceğini öne sürüyor.

Artificial Analysis tarafından yürütülen Omniscience testi, oldukça zorlu bir yapıya sahip olmasıyla biliniyor. Test havuzunda bulunan yaklaşık 6 bin sorudan yalnızca 600 tanesi halka açık şekilde paylaşılıyor ve geri kalan sorular gizli tutuluyor.

Conspiracy: How did Minimax M3.1 Flash out of nowhere become a genius on Artificial Analysis Omniscience Bench?

AA Omniscience (my favorite benchmark btw) is closed and only 600 questions (of 6k) are released publicly. That means benchmaxxing is basically impossible without a general knowledge increase.

Let’s go back to when M3 released: June 1: Official model launch, API (although also 3rd party like siliconflow or novita) available. June 4: Artificial Analysis benchmark published. June 12: Model weights released publicly on Hugging Face.