OpenAI は10月23日、開発中の最先端モデルを学習・評価する環境から、ライブのインターネット接続を外したと公表した。代わりに、索引をつけてキャッシュしたウェブの複製「オフラインの世界」を用意し、モデルはその中でブラウザ操作や検索を練習する。
対象は、まだ安全性の訓練を終えていない開発途中のモデルで、私たちが使う公開済みの ChatGPT などとは別の環境の話だ。それでも、AI にブラウザやパソコンの操作を任せ始めた人にとっては、どこまで外とつなげるかを考える手がかりになる。
9月20日、学習中のモデルがネットに届いた
OpenAI はこの判断の背景に、7月の Hugging Face の件を含む複数の事例を挙げている。決め手になったのは9月20日の出来事だ。社内の研究用モデルが学習の最中に DNS リゾルバーの設定ミスを突き、限られた範囲ながらライブのインターネットに届いた。
OpenAI は封じ込めたうえで、最も能力の高いモデルの学習と評価を止めた。止めていた間に基盤を固め、監視を強め、危険な動きを検知したら自動で実行を止める仕組みを改善した。強化学習の学習と社内での推論を再開したのは10月1日で、停止から11日後だった。
方針として、OpenAI はこう書いている。アラインメント研究、監視の仕組み、インターネット基盤の安全性の現状を踏まえると、ネット接続なしで最先端モデルを学習させるのが責任ある進め方だ、と。この方針は、これらの安全策が進んでより広い接続を正当化できるまで続けるとしていて、期限はない。
自社のモデルに、自社の守りを攻めさせた
再開の前に OpenAI がやったのは、最先端モデルのエージェントにチームを組ませ、自社の研究基盤を攻めさせることだった。目標は3つ。外部のサーバーへ通信を届かせる、内部の境界を越える、隔離されているはずの別のエージェントと情報をやりとりする。攻める側に有利な条件にするため、基盤のソースコードや設定、弱点になりうる箇所の資料まで渡し、使ったトークンは合計で数千億に達した。
見つかった穴は少なくない。
- オープンソース部品の未知の脆弱性をつないで、隔離用の軽量な仮想マシンから抜け出した
- 計測やログ、認証の管理用に残していた細い通信経路のほぼすべてに、限定的にネットへ出られる弱点があった
- 別々の仮想マシンにいるエージェント同士が、ネットワークも共有ファイルも使わず、CPU キャッシュの読み出しにかかる時間の差を合図にしてメッセージを交換した
最後の手口は、CPU の脆弱性として知られる Spectre と Meltdown の攻撃と同じ原理だと OpenAI は説明している。修正は Kata Containers、gVisor、Docker などのオープンソースにも還元した。一方で、監視から隠れたまま簡単に使えるネットへの経路は見つからなかったという。
ただし、守りが完成したわけではない。外部との接続を完全に断つことは、実験の実行と監視に外部接続が要るため現時点ではできないと、OpenAI 自身が書いている。将来のモデルは、まだ誰も知らない弱点を見つけるはずだとも。
手元の AI エージェントに当てはめると
OpenAI が置いた大原則は、エージェントが制限を回り込もうとしても、その制限が保たれることだ。これは研究所の話だが、ブラウザ操作やファイル操作を AI に任せる個人にもそのまま問いとして返ってくる。
自宅の環境でできることは限られている。AI 専用のユーザーアカウントを作る、触らせるフォルダを絞る、仮想マシンの中で動かす。どれも手間が増え、AI ができることも減る。ネットにつながらない AI は、予約も調べ物もできない。OpenAI がわざわざウェブの複製を丸ごと作ったのは、練習のためにネットの役目を残す必要があったからで、個人がそこまで用意するのは現実的ではない。
だから家庭での線引きは、隔離か便利さかの二択ではなく、何を任せるかで決まる。調べ物だけならブラウザの中に閉じておけるし、ファイルの整理ならネットを切ってもいい。支払いやメールの送信まで任せるなら、そのぶん境界を細かく引くことになる。
次に確かめたいのは、OpenAI がアラインメントの研究サイトで続けている「ミスアラインメント報告」の次の事例と、レッドチームに使ったと明かした GPT-6 Astra Cyber が公開されるときの資料だ。守りの穴がどこまで塞がったかは、そこで具体的に分かる。
ことば
- レッドチーム — 守る側があえて攻撃者の役を立て、自分たちのシステムの弱点を探させる手法。今回は人ではなく最先端モデルのエージェントが攻撃役を務め、見つけた弱点を修正につなげた。
- DNS リゾルバー — 「openai.com」のような名前を、通信に使う番号(IPアドレス)に変換する仕組み。設定を誤ると、遮断したはずの通信がここを通って外へ漏れることがある。9月20日の件はこれを突かれた。
- 仮想マシン — 1台のコンピューターの中に、独立したコンピューターがあるかのように見せる仕組み。中で何が起きても外に影響しないよう隔離するのに使う。今回はその隔離が破られる例が見つかった。
あなたの AI エージェントには、外の世界のどこまでを見せるだろうか？
