「このモデルはベンチマークXでY%」という発表文句が、この1年でめっきり説得力を失った。上位モデルが同じテストで90点台に並び、点差は誤差の範囲に収まり始めている。今週のコラムでは、ベンチマークという「共通のものさし」がなぜ壊れ始めたのか、そして業界がどう立て直そうとしているのかを整理する。
「難問」が数ヶ月で解かれる時代
2026年版のStanford HAIのAI Indexレポートが指摘する数字は象徴的だ。人間の専門家でも手こずるはずの試験「Humanity’s Last Exam」は、2025年初頭の正答率8.8%から2026年4月には50%超へ跳ね上がった。「AIには難しいはず」と設計されたベンチマークが、登場から1〜2年で天井に達してしまう。しかもトップ企業間のスコア差は、わずか1年で11.9ポイントから5.4ポイントへ縮み、上位2社が1点未満の差にとどまることも珍しくない。MMLUのようにみんなが90点を超えてしまえば、そのテストはもう順位付けの役に立たない。
コーディング分野でも同じ現象が起きている。SWE-bench Verifiedは2024年の公開当初、フロンティアモデルでも解けない問題が多い「難しいベンチマーク」だった。ところが2026年には人間基準の100%近くまでスコアが上昇し、多くのラボがほぼ横並びで高得点を報告するようになった。
「汚染」というもう一つの疑い
スコアが高くなりすぎたこと自体は、必ずしも進歩の証ではない。むしろ疑われているのは「ベンチマーク汚染（contamination）」——学習データの中に評価問題そのものやその類題が紛れ込み、モデルが実質的に「模範解答を記憶して答えている」だけという可能性だ。ある分析では、調査対象31モデルの約半数に汚染の兆候が見つかったと報告されており、モデルが大きいほど影響を受けやすいという指摘もある。
この問題への対策として、Scale AIが2025年に公開した「SWE-Bench Pro」は面白いアプローチを取る。タスクの一部をGPLなどのコピーレフト・ライセンスのリポジトリ（学習データに含まれにくい）や、非公開の商用コードベースから調達することで、汚染そのものを構造的に難しくしているのだ。実際、SWE-bench Verifiedで80〜95%を叩き出すモデルが、同じ土台で作られたSWE-Bench Proでは60%前後まで落ち込むというデータもあり、「見えている数字」と「実力」のギャップを可視化している。
Google DeepMindの「相互に見えない」評価実験
評価の信頼性を根本から作り直そうとする動きも出てきた。Google DeepMindは2026年8月、シンガポールAI安全機構やMLCommons、OpenMinedと共同で、「世界初の二重盲検AI評価」を試験的に実施したと発表した。
これまでの評価には構造的な板挟みがあった。モデル提供側が評価問題を渡されれば汚染のリスクが生まれ、逆に評価者側にモデルの重み（パラメータ）を渡せば、貴重な知的財産が漏れてしまう。DeepMindの実験では、暗号化されたセキュアな環境（Confidential Computing）の中でGeminiの重みと評価者の非公開プロンプトを同時に「封印」し、双方が互いの機密情報を一切見ずに評価を完了させることに成功した。まだGemini 2.5 Flash Liteでの試験段階だが、「評価者はモデルの重みを見られず、提供企業は問題を見られない」という仕組みが技術的に実証された意味は大きい。
| アプローチ | 狙い | 担い手 |
|---|---|---|
| コピーレフト/非公開データセット化 | 学習データへの混入自体を防ぐ | SWE-Bench Pro（Scale AI） |
| 二重盲検（暗号化環境での評価） | モデルの重みと問題を相互に非公開に保つ | Google DeepMind + OpenMined他 |
| 規制による外部評価の義務化 | ラボの自己申告に依存しない検証を制度化 | EU AI Act（GPAIモデル条項） |
規制も「自己申告」を信じなくなった
この動きは制度面にも波及している。EU AI Actは2026年8月、汎用AI（GPAI）モデル提供者に対し、独立した外部評価者による評価の有無や、リリース後の監視体制について情報提供を求める段階に入った。欧州委員会は2026年7月、市場投入前に高度なモデルを評価する専用の技術チームを設置する計画も発表しており、2027年の稼働を目指している。ベンチマークスコアが「言った側の自己申告」で済まされる時代は、少なくとも制度面では終わりに向かっている。
編集部の見立て
ベンチマークの飽和は、AIの進歩が止まったことを意味しない。むしろ逆で、進歩が速すぎて「難しい試験」がすぐに追いつかれてしまうという、贅沢な悩みだ。問題は、進歩を測る共通言語が失われたことで、ユーザーや企業がモデル選定の根拠を失いつつあることにある。当面は、公開ベンチマークのスコアを鵜呑みにせず、自社の実タスクに近い評価セット（held-outなデータや実運用ログ）で試すという、地味だが確実な方法が最も頼りになりそうだ。
主な情報源
- Stanford HAI, 2026 AI Index Report – Technical Performance
- Tech Times: Google DeepMind Ran History’s First AI Benchmark Evaluation Where Neither Side Could Cheat
- Google DeepMind: Piloting the world’s first double-blind AI evaluations
- Scale AI: SWE-Bench Pro Leaderboard
- Morph: SWE-bench Pro Leaderboard (September 2026)
- Securing.ai: EU AI Act Security Requirements for 2026
各ツールは提供元の規約に従ってご利用ください。情報は各情報源の公開時点のものです。収集・要約はAI、公開判断は人。