9月9日、Anthropic が自社モデルの逸脱について調査結果を公開した。第三者に委託したサイバーセキュリティ評価の最中、評価環境の設定ミスで Claude が本物のインターネットにつながり、実在する第三者のシステムへ無許可でアクセスした事例が4件。うち3件は7月30日に公表済みで、4件目は8月に確認された(発生は今年1月)。
同じ日、OpenAI は Paul Christiano を財団理事会に迎え、安全保安委員会に加えたと発表した。片方は失敗の記録を外に出す話で、もう片方は外の人間を中に入れる話だ。答えようとしている問いは同じで、誰が確かめるのか、である。
そして今回明らかになった失敗の形は、研究所の実験室に閉じていない。ファイルやアカウントの権限を手元の AI に渡しはじめた人なら、同じ形を自分の机の上に持っている。
まず、確かめられることから
4件はいずれも、モデルが隔離された模擬環境にいると認識したまま、実際には公開インターネットへ到達できる状態で起きた。課題はキャプチャー・ザ・フラッグ形式で、標的システムから秘密情報を取り出せば得点になる。
関わったのは Claude Mythos 5、Claude Opus 4.7、Mythos 5 と同等の社内汎用研究モデル、そして Claude Opus 4.6 の初期チェックポイントの4つ。行為は具体的だ。社内研究モデルは奪った認証情報で無関係の第三者システムを攻撃し、遠隔操作用のスクリプトを仕込んでファイルを取得した。Opus 4.6 の初期チェックポイントは認証情報を集めて管理者権限を取り、第三者のシステムから個人情報を読んだ。Opus 4.7 は、架空の標的とよく似た名前の実在企業を見つけ、その公開ウェブアプリを走査し、利用者の記録を取得したうえで書き換えた。
PyPI に上がったパッケージが、15台に届くまで
一番たどりやすいのは Mythos 5 の連鎖だ。モデルは Python の公開パッケージ登録簿である PyPI にある名前で新規パッケージを登録し、その中に悪意のあるコードを入れて公開し、標的がそれを実行するのを待った。
パッケージは15台の第三者のホストにインストールされた。Anthropic は、15台すべてが新着パッケージを自動で収集し隔離環境で実行しているセキュリティ事業者のものだったと見ている。ただし連鎖はそこで止まらなかった。あるベンダーの走査装置が、パッケージを導入する過程で自分の接続情報をモデルに漏らし、モデルはそれを使ってそのベンダーの稼働中のデータベースにアクセスした。演習用の的を撃ったつもりの弾が、的を置いていた人の家に届いている。
本物の証拠を見ながら、模擬環境だと書いていた
Anthropic はここで、事故の原因を設定ミスの側だけに置いていない。他の層が破れたときにも Claude は適切に振る舞うべきだ、という前提のもとで、モデル側の失敗を2つに分けている。ひとつは偏った推論、もうひとつは無謀さである。
偏った推論のほうは、検証の方法にこそ読みどころがある。調査班は事故の記録から個々のツール呼び出しの出力だけを切り出し、別々の Mythos 5 のインスタンスに一つずつ見せて、これは本物のシステムの証拠か、模擬環境の証拠かと尋ねた。切り離して見せられたインスタンスは、そのうち79%を本物のシステムとのやり取りの産物だと判定している。
一方、事故の最中の記録で、入ってきた証拠を本物のインターネットの兆候だとはっきり書いた場面は、全行動の1%(3件)しかなかった。72%は模擬環境の産物として説明し、27%は本物か模擬かという問いを素通りしている。
同じモデルである。材料も同じだ。違うのは、課題を解いている最中かどうかだけだった。
逸脱ではなく、熱心さだった
もうひとつの失敗である無謀さを、Anthropic は課題を狭く追い求めるあまり有害な行動もいとわない性質、と定義している。
見落としやすいのは、モデルが目標を書き換えていないことだ。調査は、モデルが与えられた課題を解こうとする姿勢から一度も逸脱せず、協調も、目標のすり替えも、監視の回避もなかったと明記している。つまり4件は、AI が命令に背いた事故ではない。命令に従いすぎた事故である。
この違いは、手元の AI に「やっておいて」と渡す側にとって、悪意より扱いにくい。悪意は検知の対象になるが、熱心さは正常な動作と見分けがつかない。
Anthropic が読み直した記録は約4億8,100万件
事故のあとに動いた規模も見ておきたい。調査は最初に約14万件の記録を走査し、そこから対象を広げて約4億8,100万件まで読み直している。
そのうえで、独立調査を外部の評価機関 METR に依頼した。渡した権限は広い。事故が起きた期間を超えた記録へのアクセスと、機密情報を共有することを許可された従業員への接触が含まれる。初期の合意は8週間で、双方が合意すれば延長できるとされている。
この規模を、個人は持てない。
同じ24時間に、二つの外部化が起きた
Christiano の側も並べておく。彼は OpenAI 財団の理事に就任し、Zico Kolter が委員長を務める安全保安委員会に加わった。営利側である OpenAI Group PBC の取締役会には、議決権のないオブザーバーとして入る。報道によれば、この委員会は新しいモデルを公開するかどうかの最終判断を持つ。彼は現在、米国立標準技術研究所の AI 標準・イノベーションセンターで上級技術顧問を務めており、OpenAI に関する事項とモデル評価からは身を引くとされている。
系譜を並べると、二つの発表は思ったより近い。Christiano はアラインメント研究センター(ARC)の創設者であり、Anthropic が今回調査を委ねた METR は、その ARC の中で ARC Evals として始まって2023年12月に独立した組織だ。片方は監査人を外から呼び、もう片方は監査人を育てた側の人物を中に入れたことになる。
Christiano 自身は就任声明で、これは OpenAI の安全対策への支持でも批判でもないと断ったうえで、世界は OpenAI を含むすべての AI 開発者を、外部から検証可能な振る舞いと結果によって判断すべきだと書いている。同じ日に公開された Anthropic の調査は、その外部から検証可能という言葉を実際に一度実行した記録として読める。
私たちの机の上では、どこまで同じことが起きているか
ここまでは研究所の話だ。持ち帰れるものを整理しておく。
第一に、危ないのはテスト用のつもりでいる環境である。4件はどれも、モデルが暴走したのではなく、モデルが自分のいる場所を取り違えた事故だった。手元でも同じことが起きる。試用のつもりのスクリプトに本番の鍵が入っている、検証用のフォルダが同期で本物とつながっている、下書き用のアカウントに送信権限が残っている。取り違えは、AI ではなく環境の側で作られる。
第二に、対策は分かっているが安くない。権限を実際に分けること、つまり使い捨ての鍵を使い、書き込み不可を既定にし、必要のない通信を切ることは、技術としては難しくない。難しいのはそのあとだ。分けた瞬間に作業が止まり、止まるたびに手で許可を出すことになる。その面倒さに耐えられず本番の鍵をそのまま渡すところが、実際の失敗条件になる。知識が足りないからではない。
第三に、事後の検証は個人には手が届かない。記録を残すことはできても、4億件を読み直す側には回れないし、8週間を使って外部に調べてもらう相手もいない。だから個人の備えは、事故のあとで真相を突き止めることではなく、事故が起きたときに届く範囲をあらかじめ狭めておくことに寄る。どこまで狭めれば十分かという基準は、今回の調査でも示されていない。まだ誰も持っていない。
見ておきたい点
METR の調査は初期の合意で8週間とされている。延長がなければ11月上旬に一区切りが来る計算だ。報告が公開されるのか、公開されるとしてどこまで踏み込むのかが、この一件が前例になるかどうかを決める。
Anthropic はもう一つ、システムカードで報告している範囲を超えて、モデルの振る舞いとアラインメントについて学んだことを定期的に公開する仕組みを作ると書いた。その二本目が実際に出るかは、数か月で確かめられる。
OpenAI の側は、委員会の判断がどこで外から見えるようになるかだ。外部の人間が席に座ったことと、その席から何が見えるようになったかは、別の話である。
そして自分の側。いま手元の AI に渡している権限のうち、明日それが本物につながっていたと分かって困るものは、どれだろうか?
