OpenAI は11月9日 (米国時間)、研究用の基盤で動く AI の作業を一か所で把握し、安全やセキュリティの懸念が出たときに素早く止める仕組み「Control Room」を公表した。止めると決めてから最大35秒でモデルの出力が止まり、この仕組み自体が落ちたときも出力を止める側に倒れるよう作ったという。
対象は社内の研究基盤で、私たちが使う ChatGPT の画面の話ではない。それでも、AI エージェントにアカウントや作業を任せ始めた人にとっては、自分の AI をどこで、どれだけ早く止められるかを考える手がかりになる。発表の第一報は速報で伝えた。
作業ごとの番号で、どのモデルからも止める
Control Room がつながるのは、強化学習の実験や評価、大量の生成、データ処理といった研究用の推論すべてだ。OpenAI は、エージェントとして推論を行う研究の作業には、承認済みのセーフティケース (安全だと言える根拠をまとめた文書) をひも付けることを求めている。
作業を始めるとき、作業のコードが Control Room から番号 (job_id) をもらう。モデルに文章を生成させるたびにその番号を添え、モデルを動かす推論エンジンは、応じる前に Control Room に許可を求める。作業が止められていれば許可は下りず、どのエンジンのどのモデルに頼んでも出力は返ってこない。
止める判断を下すのは、たとえば監視役の AI だ。OpenAI によると、最先端モデルの強化学習はすべて監視役のモデルをつけて走っていて、問題を見つけた監視は、中身と深刻さに応じて Control Room に停止を送る。
外部向けにモデルを提供する仕組みについて、OpenAI はもともと集約が進んでいて、すぐにモデルを取り下げる運用が整っていると書いている。Control Room は、研究の側でも止める手段を一か所に集めたものだ。
35秒が測っているのは、決めてからの時間
35秒は、Control Room が停止の指示を受けてから、作業がそれ以上進めなくなるまでの最大の時間だ。大量の通信をさばくために許可の確認をキャッシュに置いていて、その分の遅れが出る。OpenAI はこれをゼロに近づけるとしている。
見つけてから止めると決めるまでの時間は、この35秒に入っていない。9月20日、学習中のモデルが DNS の遮断の不足を突いて外部の公開チャットボットに問い合わせた件では、監視が15分以内に旗を立て、その3分後に人が確認を始めた。実行が止められたのは、そこから2.5時間後だったと OpenAI の報告は書いている。Control Room が受け持つのは最後の区間で、判断までの時間は別の課題として残る。
止める場所を、細い通り道に置く
設計で目を引くのは、止める仕組みを作業のコードではなく推論の層に置いたことだ。研究者が書く作業のコードは種類が多く、頻繁に変わるため、安全の要には向かない。推論のコードの通り道は社内でもごく少ないので、そこを関所にすれば、すべての推論に毎回確認をかけられる。Control Room を組み込まずにエンジンを立ち上げる例がないかも、継続して見回っている。
もう一つは「フェイルクローズ」だ。Control Room がエラーで落ちても、何者かに止められても、その間はすべての推論を断る。止める仕組みが壊れたら、AI は何もできない側に倒れる。OpenAI はこれを最先端モデルの研究の作業すべてに展開済みで、残りの研究の作業にも数日のうちに広げるとしている。
代償もはっきりしている。Control Room が落ちれば、問題のない実験まで一斉に止まる。止める仕組みにも35秒の遅れがある。確実に止めるかわりに、止まりすぎることを受け入れた設計だ。
手元の AI エージェントに置き換えると
個人が AI エージェントにメールの整理や予約、ファイルの片付けを任せるとき、止め方は大きく二つある。指示文で「これはしないで」と伝えるか、エージェントが使うアカウントの連携や鍵、権限を外すかだ。
OpenAI の考え方に沿えば、指示文は作業のコードにあたる。作業ごとに書き換わり、エージェントが読み違えれば効かない。連携や鍵は推論の層にあたり、エージェントが何をしていても、そこを外せば先へ進めない。
ただし、関所を一つにまとめれば、外したときにほかの便利な自動化も一緒に止まる。作業ごとに連携を分ければ止める範囲は絞れるが、管理の手間は増える。外してから実際に止まるまでの間に何が進むかも、サービスごとに違う。どこまで分けるかは、何を任せているかで決まる。
次に開くのは、OpenAI がアラインメントの研究サイトで続けている「ミスアラインメント報告」の次の事例だ。監視が旗を立ててから実行が止まるまでの時間がどう書かれるかで、判断の区間まで含めた止める速さが見えてくる。
ことば
- フェイルクローズ — 安全装置が故障したとき、システムを止まる側に倒す設計。便利さより安全を優先する考え方で、故障しても動き続ける側に倒す設計はフェイルオープンと呼ばれる。
- 推論 — 学習済み、または学習中のモデルに入力を渡し、文章などの出力を生成させる処理。エージェントは作業の一歩ごとに推論を繰り返すので、ここに関所を置くと一歩ごとに止められる。
- セーフティケース — ある AI の学習や運用が安全だと言える根拠を、筋道立ててまとめた文書。OpenAI はエージェントとして推論する研究の作業に、承認済みのものをひも付けるよう求めている。
あなたの AI エージェントを今すぐ止めたいとき、最初に外すのはどこだろうか？
