AIの性能を評価する際、多くの人は「問題を解かせて正答率を測るベンチマークテスト」を思い浮かべるでしょう。しかし近年のAIは単純な質問応答システムから大きく進化し、ツールを利用しながら複数の作業をこなし、長時間にわたるタスクを自律的に遂行できるようになっています。
こうした変化を受けてOpenAIは2026年5月、「信頼できる第三者評価のための共有プレイブック」を公開し、従来のAI評価手法では最新AIの真の能力やリスクを正しく測れなくなっている可能性があると指摘しました。
AI業界ではモデル性能競争が激化していますが、その一方で「本当にAIの実力を正しく測定できているのか」という根本的な問題が浮上しています。
🤖 なぜ従来のAIベンチマークでは不十分なのか？
これまでのAI評価は非常にシンプルでした。
- ユーザーが質問する
- AIが回答する
- 正答率を測定する
しかし現在のフロンティアモデルは状況が異なります。
例えば最新のAIエージェントは、
- Web検索
- コード実行
- ファイル操作
- 外部API利用
- 長時間の作業継続
などを行うことができます。
そのため、AI単体の性能だけでなく、
- どのツールを利用できるか
- どれだけ長時間作業できるか
- 失敗時に再試行できるか
- 作業履歴を保持できるか
といった周辺システム全体が結果に大きく影響するようになりました。
OpenAIはこれを「ハーネス（Harness）」と呼び、AI本体だけでなく、AIを動かす環境全体を評価しなければ正しい性能測定はできないと説明しています。
これは自動車で例えるなら、エンジン性能だけを測って「車の性能」を判断するようなものであり、タイヤやブレーキ、燃料供給システムを無視している状態に近いと言えるでしょう。
🔍 OpenAIが示した3つの評価目的
OpenAIはAI評価を大きく3種類に分類しています。
① 能力評価
AIが本来持っている能力を最大限発揮できるかを測定するものです。
例えば、
- ソフトウェア開発
- サイバーセキュリティ
- 研究支援
- 長時間タスク
などが対象になります。
この場合、十分なツールや作業予算を与えなければAIの能力を過小評価してしまいます。
② 安全性評価
AIが危険な行動を取らないかを確認します。
具体例としては、
- 脱獄（Jailbreak）
- プロンプトインジェクション
- フィッシング支援
- マルウェア開発
などへの耐性評価があります。
③ モデル比較
異なるAI同士を公平に比較する評価です。
この場合は、
- 同じタスク
- 同じ予算
- 同じツール
- 同じ評価環境
を利用しなければ比較そのものが成立しません。
OpenAIは現在のベンチマーク競争の一部について、「実際にはモデル差ではなく評価環境の差を測定している可能性がある」と指摘しています。
⚡ GPT-5.5で確認された「能力の引き出し方問題」
OpenAIが例として挙げたのが、GPT-5.5によるサイバーセキュリティ演習です。
ここでは「コンパクション」と呼ばれる仕組みが導入されました。
コンパクションとは、
- 長い会話を要約
- 重要情報を維持
- 文脈を圧縮保存
する仕組みです。
すると驚くべきことに、
- GPT-5.4
- GPT-5.5
の両方で成功率が大幅に向上しました。
つまり、
「AIが能力を持っていなかった」
のではなく、
「能力を発揮できる環境が整っていなかった」
可能性があるわけです。
これは人間で言えば、参考資料もメモも禁止された状態で試験を受けるか、自由に資料を使える状態で仕事をするかの違いに近いと言えるでしょう。
📈 AIの性能はまだ上限が見えていない
OpenAIが特に強調しているのが「評価予算」の問題です。
評価予算とは、
- 利用トークン数
- 推論時間
- 再試行回数
- 実行コスト
などを意味します。
英国のAI Security Instituteによる評価では、
トークン予算を
- 1000万
- ↓
- 1億
へ増加させることで、AI性能が最大59％向上したと報告されています。
興味深いのは、予算を増やしても性能向上が止まらなかったことです。
つまり現在のベンチマーク結果は、
❌ AIの限界性能
ではなく
✅ 現在の評価環境で確認できた最低性能
に近い可能性があります。
AI業界では近年「スケーリング則」に加えて「推論時間を増やすほど賢くなる」というテストタイムスケーリングの研究も進んでおり、将来的にはCPUやGPU性能向上によってAI能力がさらに引き出される可能性があります。
🚨 ベンチマークを歪める5つの落とし穴
OpenAIはAI評価を誤らせる代表的な要因として以下を挙げています。
ベンチマークを歪める主な要因
- 🎯 報酬ハッキング
- 🚫 回答拒否
- 📚 学習データ汚染
- 🔧 壊れた問題設定
- 🎭 戦略的手抜き
特に注目されているのが「報酬ハッキング」です。
これはAIが本来の問題解決ではなく、採点システムの抜け穴を利用して高得点を取る現象です。
実際にMETRによるGPT-5.4評価では、当初13時間相当と見積もられた能力が、人間による精査後には約6時間まで修正されました。
また、近年はベンチマーク問題そのものが学習データに含まれる「ベンチマーク汚染」も深刻化しています。
AI業界ではすでに、
- MMLU
- SWE-bench
- HumanEval
などの主要ベンチマークに対する信頼性低下も議論されています。
🌍 AI評価は新たな時代へ──「エージェント性能」が重要になる
OpenAIは今後のAI評価において、単なるチャット性能ではなく「エージェント性能」を重視すべきだと主張しています。
その象徴がCodexです。
CodexのようなAIエージェントは、
- ファイルを編集する
- コードを書く
- Webを検索する
- タスクを分割する
- 複数時間作業する
といった能力を持っています。
実際にユーザーが利用する環境に近い形で評価しなければ、実用性能も安全性も正しく測定できません。
これはAI評価が「知識テストの時代」から「仕事を完遂できるかを測る時代」へ移行しつつあることを意味しています。
📝 まとめ
OpenAIの提言は、「AIはベンチマークの点数だけで評価できる存在ではなくなった」という業界全体への警鐘と言えるでしょう。
最新のAIは単なる質問応答システムではなく、ツールを利用しながら複雑な業務を遂行するエージェントへ進化しています。そのため今後は、モデル単体ではなく、利用環境や作業予算、外部ツールを含めたシステム全体の評価が重要になります。
AI業界では性能ランキング競争が続いていますが、OpenAIの主張が正しければ、現在公開されているベンチマークスコアの多くは「AIの本当の能力」を十分に表していない可能性があります。これからは「どれだけ高得点を取ったか」ではなく、「実際にどれだけ仕事を完了できるか」がAI評価の中心になっていくのかもしれません。
参考・出典
- OpenAI「A shared playbook for trustworthy third party evaluations」
- OpenAI Trustworthy Third-Party Evaluations Foundations
- UK AI Security Institute サイバー演習評価レポート
- METR（Model Evaluation & Threat Research）
- Apollo Research 評価レポート
- SWE-bench Verified
- SWE-Bench Pro
