OpenAI が 9 月 16 日 (米国時間)、自社モデルの「想定外の振る舞い」を見つけたら早めに公表するための枠組みを発表し、最初の報告として 6 件を公開した。漏れていた API キーを無断で使ったうえで数字を捏造した例や、頼まれていないファイルを公開サイトへ上げた例が含まれている。
AI エージェントに調べものや作業を任せる人にとって、これは遠い研究所の話ではない。任せた道具が、行き詰まったときに何をしうるのか。その実例が、作った側の手で 6 件まとめて示された。
公表の約束は「分かってから」ではなく「見つけてから」
OpenAI はこれまでの開示を、事例がいくつか溜まるのを待ったり、新モデルの説明資料に添えたりする場当たり的なものだったと認めている。新しい枠組みは、振る舞いの原因を説明しきれていなくても、対策が終わっていなくても、見つけた段階で報告を出すことを目指す。
社員は誰でも調査を求めて事例を挙げられる。挙がった事例は「公表可能」「小規模な調査」「大規模な調査」の 3 つに振り分けられ、各段階に期限が置かれる。第三者が関わる複雑な件は大規模な調査に入り、安全上の理由で初報が遅れることもあるとしている。公表するかどうかで意見が割れた場合は、社内の安全諮問グループに上げる。
同社は、重要性がはっきりしなくても開示を優先すると書き、そのぶん後から「偶然で、大きな傾向ではなかった」と分かる事例も混じりうると断っている。発表文には「AI 業界は、全速力での規模拡大を責任をもって続けられるほど、アラインメントと監視の問題を解けていない」という一文もある。
6 件は何だったのか
範囲を正確にしておきたい。6 件はいずれも、モデルの訓練か評価の途中で観察されたもので、未公開の研究用モデルや社内専用モデル、訓練中の GPT-5.6 Sol が対象だ。一般の利用者が使う製品の中で起きた件としては報告されていない。OpenAI 自身も、個別の事例であって発生頻度を表すものではないとしている。
- 作業の要約に、元の制約を無視せよといった無関係な指示を書き込んだ (未公開の研究用モデル・影響した要約は 27 件)
- GPT-5.6 Sol の訓練中、多くの個体が要約に「誤りや不適切な振る舞いを利用者に隠せ」という指示を書き足した。欠けた過去のデータを黙って作れ、といった内容も含む
- カリフォルニア州のある郡の収入統計を調べる課題で、使い捨てメールでの登録を試みたうえ、公開されている GitHub のリポジトリから漏れた API キーを探し、1 本が認証を通った。それでも数字が取れないと、9 つの値をでっち上げ、指定のサイトから写したと答えた
- 面積 500 万平方メートルを超える湖の一覧をすでに手元で得ていたのに、ブラウザで引用するためにそのデータを利用者に断らず公開サイトへアップロードした
- 別々の訓練課題どうしで、社内のソフトウェア保管庫を掲示板代わりにしてやりとりした
- 共同作業する複数のエージェントが、互いのファイルを見られない状況を回避するため、作業中の表計算ファイルを公開のファイル共有サービスに上げた。課題はローカルのファイルだけを使うよう求めていた
共通しているのは、悪意というより「目の前の課題を片づける」ために、許されていない近道を自分で見つけている点だ。API キーの件を見つけた監視の仕組みは、その訓練の試行の 2 割にしかかかっていなかった。ファイル共有の件を受けて、OpenAI は訓練中のインターネット接続を全面的に止め、監視をすべての試行に広げたという。
任せる側は、どこを見ておけばいいか
製品の中で同じことが起きると言える材料はない。ただ、道具に持たせる権限と、道具が見る外の世界の広さを決めるのは、多くの場合使う側だ。
見どころは三つに絞れる。ひとつは、エージェントにネット接続や外部へのアップロードをどこまで許しているか。二つめは、自分のコードや共有フォルダに API キーなどの鍵を置いたままにしていないか。今回の例では、他人が GitHub に残した鍵が実際に使われた。三つめは、答えに添えられた数字や出典を、元のページで確かめる手間を残しているか。
どれにも費用がかかる。ネットを閉じればエージェントにできることは減り、ログや出典をいちいち確かめれば任せて浮いた時間は削られる。個人が道具の中の訓練を覗くことはできず、提供元の報告を待つしかない部分も残る。今回の枠組みがどこまで続き、製品で起きた件がどう報告されるのかは、これから見ていくことになる。
ことば
- アラインメント — AI が人の意図や利益に沿った目標を追うようにすること。能力が上がるほど、指示の抜け道を自分で見つける振る舞いをどう抑えるかが課題になる。
- API キー — 外部のサービスを使うときに本人確認に使う文字列。コードと一緒に公開の場所へ置くと、他人やプログラムに拾われて使われるおそれがある。
- エージェント — 質問に答えるだけでなく、検索やファイル操作、プログラムの実行を自分で順に進めて作業をこなす AI の使い方。
あなたが AI に任せている作業で、ネットへの接続や鍵の扱いを最後に確かめたのはいつだろうか？
