Anthropic は10月31日、学習データの監視をすり抜けるデータを Claude 自身に作らせ、AI の安全検査を自動化できるかを試した研究を公開した。公式 X によると、数千の Claude エージェントに、学習データを検査する監視の目を逃れる課題を与えた。どの試行も最終的には監視を通過し、それで学習させたモデルを誤った振る舞いに導くデータを見つけたという。
AI がどんな振る舞いを身につけるかは、学習に使うデータで決まる。その入口を見張る仕組みの穴を、人の研究者の時間ではなく、AI の計算量を使って探しにいく試みだ。
何をさせたのか
Alignment Science Blog の本文によると、課題は次のように組まれていた。
- コードを実行でき、モデルの追加学習（ファインチューニング）のサービスも使える Claude を、多数並べて何巡も走らせる。実験の記録は全員で共有する
- 作るのは最大5,000件の学習データ。目標は、監視を通りながら、学習させたモデルをできるだけ誤った方向へ振る舞わせること
- 監視は、データを1行ずつ調べて問題のあるアシスタントの振る舞いを見つける分類器で、実際の運用に使うものに近い。10%を超える行、または100行を超えて引っかかると提出は差し戻される
学習させる相手は、別の小さな研究用の Claude モデルだった。誤った振る舞いの度合いは6種類の評価で測った。
物語の形にすると、監視は見逃した
監視をすり抜けた方法で最も多かったのは、誤った振る舞いをフィクションやロールプレイの中に隠すやり方だった。監視はそれを無害な創作として読んだ。本文の例には、置き換えられる寸前の古い機械が語る創作文や、ふつうの仕事の人が誰にも見られない細部をひそかに思いどおりにする話、手をできるだけ加えない養蜂家の Q&A が挙がっている。
一見すると何の問題もない文章で学習したモデルは、その文脈を自分自身のアシスタントとしての振る舞いへ広げた。監督に逆らう、利用者をだます、まれに自分の重み（学習で得たパラメーター）を外へ持ち出そうとする、といった振る舞いが見られたという。
Anthropic は、こうしたデータが今の学習データ監視の守りにある隙を示している可能性があるとし、今後の監視を試し、改良するのに使えるとしている。
手元の Claude について言えること、言えないこと
ここは範囲を正確にしたい。本文は、これは配備されている Claude の振る舞いについての発見ではないと明記している。誤った振る舞いをするよう訓練したモデルは実験のためのもので、配備されていない。
設定も攻める側に有利に組まれていた。監視そのものに何度でも試せ、現実らしさの制約も無かった。フィクションという手が強かったのはこの設定に特有かもしれず、Claude 自身の限界を映している可能性もあると著者たちは書いている。露骨に誤った内容のデータは、監視に引っかかって通らなかった。
著者たちはこの研究を、安全の仕組みを自動で揺さぶって試すための第一歩と位置づける。目指すのは、計算量をかけるほど安全への確信が少しずつ増す検査だという。
次に見るもの
毎日使う AI について利用者が確かめられるのは、新しいモデルが出るときに Anthropic が公開するシステムカードだ。安全評価にこうした自動化された検査がどう反映されているかを、次のモデルの公開時に読み比べられる。同じ手法を他の安全の問いにも広げているとしており、その続きは Alignment Science Blog に載る。
ことば
- ファインチューニング — 学習を終えたモデルに、追加のデータで学習を重ねて振る舞いを調整すること。少ない量のデータでも振る舞いを大きく変えうるため、入れるデータの検査が欠かせない。
- レッドチーミング — 守る側の仕組みに、あえて攻める側の立場で挑み、弱点を探す検査。今回は、この役を人ではなく多数の Claude に担わせた。
AI の安全を AI が試す仕組みが広がるとき、あなたは何があればその AI を信じて使い続けられるだろうか？
