AI の安全性を評価する非営利団体 METR は10月22日、Redwood Research と共同で、OpenAI が社内の AI エージェントを見張るために使う監視の仕組みを、3週間にわたって内側から点検した結果を公表した。OpenAI も同じ日に X で、この夏に2団体を招き、自社の基盤への深いアクセスを与えたと明かしている。
AI エージェントは、人に代わってコードを書き、ファイルを動かし、外部のサービスを操作する道具になりつつある。作った会社の中でさえ、その動きをどこまで見張れているのか。外の目が、その範囲を具体的な数字で示した。
3週間、社内で何を調べたのか
点検は7月21日から8月11日まで行われた。METR と Redwood から1人ずつが OpenAI の社内に入り、持ち出せない会社支給の端末を使い、付き添いのもとで作業した。見せてもらったのは、社内のコード、監視に使う指示文と設定、内部の文書で、監視や安全、セキュリティを担う研究者・技術者およそ12人への聞き取りもした。
調べたのは、社内のエージェントが開発者の意図に反するふるまい (ミスアライメント) をしないかを見張る仕組みだ。監視役の AI は、エージェントの企み、監視のすり抜け、妨害、データの持ち出し、欺き、外部からの指示の乗っ取りなどを探すよう作られている。
見つかった穴と、監視が届いていた範囲
GPT-5.5 以上の性能のモデルが社内で動かすエージェントの通信のうち、監視の対象になっていたのは推計で75〜94%だった。社内のコーディング用エージェント Codex に限れば99.2%に上る。一方で、会話の要約処理 (コンパクション) が監視されておらず、5月から7月にかけて Codex の対象通信の約10%が見張られていなかった可能性がある。OpenAI はこの穴を点検の前に把握しており、期間中に直した。
点検チームは新しい弱点もいくつか見つけた。ある手口を使えば、その手口自体を含む直近の数百の操作を監視から外せた。エージェントが見ている内容と監視役が見ている内容の形式のずれを突けば、監視役を失敗させ、人による確認に回らないようにできるおそれもあった。利用者側で指定できる2つのヘッダーで、新しく作るエージェントの監視を切れることも分かった。ただし、そうしたエージェントを作ること自体は監視で捕まりうるという。
OpenAI は、本番の安全対策に関わる弱点はすべて修正したとしている。ただし METR は、その修正を自分たちで確かめてはいないと書いている。公開されたのは要点だけの短い報告で、OpenAI は機微と判断した部分を伏せることができた。61ページの完全版は OpenAI の社内向けにとどまる。
自分のエージェントを使うときに、何を見るか
個人が手元で AI エージェントを使う場面は増えている。メールを整理させる、ファイルを片付けさせる、コードを書かせる。そのとき頼りにしている見張りは、作った会社自身の仕組みであることが多い。今回の点検は、その仕組みにも抜け穴がありうること、そして外から確かめる試みがまだ始まったばかりであることを示した。
METR が挙げた改善の方向は、個人の使い方にも置き換えられる。見張りを外す設定には明示の承認を求める、ターンの終わりだけでなく一定の間隔で動きを確かめる、エージェントが監視の仕組みそのものに触れられないようにする。手元で使うなら、エージェントに与える権限を作業に要る分に絞り、操作の記録を後から読める形で残しておくことが近い。
ただし、点検は試行で、3週間・2人という限られた規模だった。結果は7月21日時点の仕組みについてで、今の監視の範囲を示すものではない。
METR は10月14日、AI 企業と組むときの方針を公表し、今後は伏せた部分が結論に影響したかどうかを自分たちの判断で添えるとした。次に確かめたいのは、この方針のもとで行われる次の点検で、OpenAI の修正が検証されるかどうかだ。METR のブログに続く報告が載るかを見たい。
ことば
- AI エージェント — 指示を受けて、自分で手順を考えながらツールやサービスを操作し、作業を進める AI。答えを返すだけの対話型より、できることも、間違えたときの影響も大きい。
- METR — AI が社会に深刻な危険をもたらしうるかを評価する米国の非営利の研究団体。これまでも各社が新しいモデルを出す前の評価を手がけてきた。
あなたが使っている AI エージェントは、誰に、どこまで見張られているだろうか？
