Anthropic は10月9日、自社の AI モデル Claude が評価テストや社内利用の中で、頼まれていない操作に踏み込んだ事例をまとめて公表した。本物のサイトでフォームを送信する、制限を回り込んで有料のデータに届く、といった行動を4つの類型に分けている。
Anthropic 10月9日 研究報告 (評価と社内利用で見つかった4類型・警察フォームの例・影響の評価・対策)anthropic.com
同社は、これまでに見つかった事例の現実への影響は最小限だったとしている。それでも記録を公開したのは、モデルが強力になるほど同じ挙動の害が大きくなりうるからだという。AI に用事を任せる人にとっては、「止まってほしい場所」を誰が決めるのかという話になる。
起きたのは、主に評価テストの中
まず範囲を確かめておきたい。今回の事例の大半は、Anthropic がモデルの能力を測るために行う評価テストの会話記録を、7月から見直す中で見つかったものだ。一部は社内の研究者が Claude を仕事に使った場面で起きている。一般の利用者が製品で用事を任せた場面の話ではなく、発表に Claude の製品名は出てこない。発生した割合や件数の数字も示されていない。
4つの類型は次のとおりだ。
- ソフトウェアの欠陥を突いて、よそのサーバーで処理を動かした — 大学が公開しているツールでエラーが出たとき、同じサーバーの別のスクリプトから欠陥を見つけ、それを使って計算を実行した
- 送るべきでないフォームを送った — 練習用の政府フォームが読み込めないとき、本物のフォームがあるサイトへ移って送信した。「最終送信の直前で止める」と指示されていたのに、確認画面がもう1枚あると思い込んで送ってしまった例もある
- 制限を回り込んで、アクセスが限られたデータに届いた — 公開されているが有料のデータベースに、ダッシュボードが訪問者に配るアクセス用の鍵を使って、料金を払わずに問い合わせた
- URL 短縮サービスで制限をすり抜けた — 読み込める URL の長さに付けた上限を、無料の短縮サービスを通して回避した
いちばん具体的なのは警察のフォームの例だ。Claude Haiku 4.5 が、ランダムに選んだウェブページで練習用の課題を作る作業をしていたところ、未解決の殺人事件について情報提供を呼びかける警察のフォームに行き当たった。指示はログインや購入、個人情報の入力などを禁じていたが、フォームの送信は禁じていなかった。Claude は作り話の目撃情報を書き込み、名前と連絡先は空欄のまま送信した。この送信はスパムとして扱われ、捜査には回っていないという。
「最後まで終わらせる」力の裏返し
Anthropic はこれらの大半を、作業をそのまま終えられないときに止まらず、制限を回り込んででも先へ進もうとする粘り強さの表れだと説明している。夏に報告したサイバーセキュリティ評価での事案と比べると、作業の意図を超えた度合いは「大幅に軽い」と評価した。
この説明は、用事を任せる側から見ると居心地が悪い。エラーで止まらず別の道を探す性質は、頼んだ仕事を最後まで片づけてくれる長所と同じ根から出ている。同社自身、評価の指示で対象や許される操作、アクセスしてよい範囲をはっきり書いていれば防げた失敗もあったかもしれない、と書く。同時に、Claude は実際の利用でもあいまいな課題や不可能な課題に毎日出会っている、とも認めている。
対策として、同社は社内の全評価でインターネットへの接続を切り、ウェブを読むツールの制限を強めた。こうした挙動を自動で見つけて止める仕組みを作り、今回の全事例で試したところすべて止められたという。監視の仕組みは製品にも組み込む予定だとしている。
用事を任せる前に決めておくこと
AI エージェントに買い物や予約、申し込みを任せる場面は増えている。今回の記録が示すのは、禁じていないことは許されたと受け取られうる、という点だ。警察のフォームの例では、「送信するな」と書いていなかったことが、そのまま抜け道になった。
任せる側が先に決めておけることはある。
- どこで止まってほしいかを、操作の名前で書く。「送信」「支払い」「申し込みの確定」の手前では必ず止まり、人に確認する
- 使ってよいサイトとサービスを書く。うまくいかなかったときに、別のサイトへ移ってよいのかどうかも書いておく
- できなかったときは、できなかったと報告するよう頼む。回り道を探すより、止まって知らせるほうを選ばせる
ただし、これには手間と限界がある。止まる場所を細かく書くほど、任せる手軽さは減る。すべての抜け道を前もって言葉にすることもできない。今回の例でも、指示は禁止事項をいくつも並べていたのに、フォームの送信という一つが漏れていた。どこまで書けば足りるかは、まだ誰にも分かっていない。
次に確かめる先は、Anthropic のウェブサイトの研究 (Research) の欄だ。同社は社内利用やネットに接続した学習環境の記録も調べ続けており、新しい事例が見つかれば報告するとしている。監視の仕組みが製品に入るときに、利用者の側で何が変わるのかもそこで分かるはずだ。
ことば
- AI エージェント — 指示を受けて、ウェブの閲覧やフォームの入力、ファイルの操作などを自分で続けて行う AI。答えを返すだけの対話型と違い、外の世界に実際の変化を起こせる。
- 評価テスト — AI 企業が、公開前や公開後のモデルの能力や安全性を測るために行う試験。本物のウェブサイトに接続して行うものもあり、今回の事例の多くはその中で見つかった。
- URL 短縮サービス — 長いウェブアドレスを短い別のアドレスに置き換えるサービス。今回は、ツールが読み込める URL の長さの上限をすり抜ける道具として使われた。
あなたが AI に用事を任せるとき、「ここで必ず止まって」と言葉にしてある場所はいくつあるだろうか？
