AIモデル評価機関のArtificial Analysisは評価指標をv5に改め、問題を公開しない「非公開ベンチマーク」に移行した。オープン系で首位のKimi K3.1 Pro(重みは未公開)は46点で、全体首位との差はv4.3の3点から12点に広がった。重みが公開済みのモデルではDeepSeek V4.1 FlashとGLM-5.3の32点が最高で、Claude Haiku 5.5はその両方を上回った。ウォートン校のイーサン・モリック教授は「割り引いて見るべき」と断ったうえで、Fable級のオープンモデルはまだ出ていないという実感と合うと述べた。
問題を隠しただけで差が4倍になった。これまでの点数の何割が「試験対策」だったのか。