Opus 5、「真の知性」を測る
難関ベンチマークで首位に
前日は「Fable 5より大幅に安い」という価格面の話題で報じられていたAnthropicの新モデルOpus 5。この日は一転、暗記では解けないよう設計された難関ベンチマークARC-AGI-3で、OpenAIのGPT-5.6 Solを大差で突き放したとTHE DECODERが報じた。
「暗記では解けない」
ベンチマークで、何が起きたか
多くのLLMベンチマークは、似た問題を訓練データで見たことがあるモデルほど高得点を取りやすいという弱点を抱えています。これに対してARC-AGI-3は、非営利団体ARC Prize Foundationが「暗記や過去問の再利用では解けない」よう意図的に設計した、未知の環境に対する汎用的な推論力（fluid reasoning）を測るベンチマークです。単純なリーダーボードの順位よりも、「本当に考えて解いているか」を測る指標として位置づけられています。
ARC Prize Foundationの計測によると、AnthropicのOpus 5はARC-AGI-3で30.2%のスコアを記録し、OpenAIのGPT-5.6 Sol（Max）が持っていた旧記録7.8%を大きく上回る新記録を打ち立てたと、THE DECODERが報じている。単なる僅差の更新ではなく、旧記録の約4倍という規模の飛躍である点が注目に値します。
比較対象はGPT-5.6 Solだけではありません。ARC Prize自身の分析によれば、Anthropicの一世代前にあたる「Fable系」の中位モデルは同じベンチマークでおよそ20%程度にとどまっていました。つまりOpus 5の30.2%は、競合他社だけでなくAnthropic自身の前世代からも大きく前進した結果ということになります。
価格で選ばれていたモデルが、
その日のうちに性能でも選ばれる理由を得た。
30.2%という数字の中身
ARC Prize Foundationの分析では、Opus 5がこれまで誰も解けなかった環境のうち5つを新たに攻略し、うち4つは人間の基準を上回るスコアだったとされています。
Opus 5はこれまで未解決だった5つの環境を新たに攻略し、うち4つは人間水準以上のスコアを記録したとARC Prize Foundationは分析している。この背景として同財団は「より強い論理的推論」を挙げ、それが未知の環境における自律的な探索・計画・実行を可能にしていると説明している。
テスト中には、Opus 5が課題を代数的な記法に自ら変換し、反射（reflection）の方程式を独自に定式化するという、研究者たちがこれまでモデルから見たことのなかった振る舞いも観測されたという。こうした挙動の詳細は、独立系のベンチマーク集計サイトArtificialAnalysis.aiのOpus 5ローンチ関連記事でも周辺情報として取り上げられている。
誰に・どう効くか
性能だけを見て動くべき人と、これまで通りでよい人が分かれます。
未知タスクの評価基準を見直す
見たことのないドメインでのエージェント的タスクにモデルを使う開発者は、ARC-AGI-3のような汎化性能の指標を選定基準に組み込む価値が上がりました。汎化性能はコーディングベンチマークの順位だけでは見えません。
価格だけで決めていた判断を見直す
「Fable 5より安いから」という価格理由だけでOpus 5を候補から外していた、あるいは逆に安さだけで選んでいた場合、性能面でも最上位候補である前提で再比較する必要があります。
すでにClaude一本の人には誤差
すでに業務でClaudeを使い続けている人にとって、今回の結果は「使い続けてよい理由が増えた」以上の変化ではありません。乗り換えや契約見直しを急ぐ必要はありません。
次に何をすべきか
自社の評価スイートを再実行
性能面を理由にOpusを候補から外していたなら、今回のようなアップデートを機に、自社ユースケースでの評価を再実行しておく価値があります。
Fable 5・GPT系後継の反応を注視
ARC-AGI-3は公開ベンチマークであり、他社が数週間以内に対抗スコアを出してくる可能性があります。今回の順位を固定的なものと見なさないこと。
1つのベンチマークで即断しない
ARC-AGI-3の結果だけでモデルを乗り換える前に、下の反対視点も踏まえ、自分のタスク種別に近いベンチマークを併せて確認すること。
反対視点・リスク・限界
今回の結果を「Opus 5がすべてのベンチマークで圧勝した」と読むのは早計です。ARC Prize Foundationは同じ検証の中で、対話型パズルゲームの推論力を測るWitness benchmarkも報告しており、Opus 5はこちらでは43.4点にとどまり、Kimi K3・Fable 5と統計的に並ぶタイの結果だった。前世代のOpus 4.8からの伸びも、ARC-AGI-3ほど大きくなかったという。
つまり、Opus 5の推論力向上は一様ではなく、ベンチマークの種類によって伸び幅にばらつきがあるのが実態です。ARC-AGI-3は「暗記で解けない」よう設計された特定の1指標であり、あらゆるタスクでの汎用的な優位を保証するものではありません。価格だけでなく性能面でも判断材料が増えたのは事実ですが、自社が重視するタスク種別に近いベンチマークで裏取りをすることが依然として重要です。