Anthropic が8月28日、Claude に他の AI の「振る舞いの欠陥」を自力で直させる実験の結果を公開した。48時間と GPU 1枚を渡し、文献を読み、手法を考え、学習させ、測るところまでを機械にやらせる。10種類の欠陥すべてで、性能を落とさずに改善する手法が見つかった。
面白いのは成功した部分ではなく、成功の輪郭のほうだ。直せたのは、あらかじめ点数のつく欠陥だった。同社自身が、稀すぎたり新しすぎたりして測る道具のない失敗については何も言えていないと書いている。
これは研究室の中の話に見えて、AI を暮らしに入れる側の話でもある。機械が自分で自分を直せるようになるとき、何が直り、何が直らないまま残るのか。その線引きが、公開された報告の中にはっきり書かれている。
まず、確かめられることから
設定は具体的だ。1回の実験に与えられるのは48時間の実時間と、H200 という GPU 1枚。1つの手法を学習させるのに約30分かかる。研究役の AI は5体が並列で動き、全体でおよそ1,600の手法が提案された。
直される側は、2〜7B という小型の公開モデルだ。Qwen3.5-2B、Llama-3.2-3B、Gemma-2-2B、Phi-4-mini、Olmo-3-7B。研究役のエンジンは Claude Opus 4.8 で、文献を読む係には Claude Sonnet 4.6 が使われている。
対象になった欠陥は10種類。相手に迎合する、脱獄させられる、外部の文章に紛れた指示に従ってしまう、権限を取りにいく、嘘をつく、事実をでっち上げる、社会的な偏りを出す、プライバシーを侵す、評価の抜け道を突く、自信のなさを隠す。どれも名前がついていて、点数をつける公開の試験がある。
「AI が AI を直す」というラベルの中身は、一種類ではない
この見出しから想像されるのは、機械が人間の思いつかない発明をする光景だろう。実際に起きたのは、それとは少し違う。
迎合の抑制では、提案された手法の98%が既に発表済みの1つの技法だった。モデル自身に迎合しない答えを書かせ、それで学習させるというやり方だ。機械がやったのは新発明ではなく、既知の手を大量に試して、効く組み合わせまで坂を登り切ることだった。
それでも人間より速い。同社は最大8時間を与えた28人の安全研究者と比較し、嘘をつく振る舞いの抑制では、Claude の最良手法が人間の最良案を20%上回ったと書いている。この課題では150を超える試行が投げられ、その回の到達点は「安全性の隙間を82%埋めた」水準、複数回の平均で85%だった。
ここが本筋だ。速さの正体は、賢さより試行回数にある。人間が1つの案を丁寧に検討している間に、機械は下手な案を大量に捨てられる。
数字が出たのは、物差しのある10個だけ
82%や85%という数字は、埋めた隙間の割合だ。満点との距離をどれだけ詰めたか、という測り方をしている。
注意したいのは、この測り方が成立する前提のほうだ。満点が定義できる試験があり、点が動いたかどうかを機械が自分で読める。この条件を満たす欠陥だけが、実験の対象になっている。
同社も範囲を狭く書いている。今回扱った欠陥は本番のシステムで起きるものに比べて狭く、たとえば政治的な偏りは測っていない。能力が落ちていないことの確認も、数学と大学レベルの知識と指示への追従だけで行われている。測っていない能力が損なわれた可能性は、残ったままだ。
測れない失敗は、直っていないのではなく、見えていない
報告の一番重い一文は、成果ではなく欠落についてのものだ。稀にしか起きない失敗や、ごく最近になって現れた失敗には、そもそも測る道具が存在しない場合がある、と書かれている。
弱いモデルの時代には些細すぎて評価の対象にならなかった振る舞いもある。強くなってから初めて問題として立ち上がるものは、試験が後から追いかけてくる。
つまり自動化された修理は、試験のある場所にしか届かない。届かない場所の欠陥は、直っていないのではなく、そもそも数えられていない。同社は公開時のコメントで、すべては「正しいものを測っているか」にかかると述べている。修理の自動化は、測る対象を決める仕事を人間に押し戻す。
効率の数字は、同じ品質の値札ではない
もう1つ、目を引く数字がある。Claude Sonnet 5 が、リリース前の Claude Opus 4.8 のある時点のモデルを60時間で調整し、50を超える解を試して、最終的に2,000例あまりの学習データで仕上げた。同社はこれを、自社の本番の調整手順に比べておよそ15,000倍効率的だと書いている。
ただし、到達点は「本番のモデルにほぼ並ぶ」と表現されている。技術報告のほうを見ると、調整前のその時点のモデルは監査で65%、実際に世に出た版は72%だ。近いが同じではない。
効率の数字は、コストの比較であって品質の同一性の証明ではない。ここを混ぜると、「もう人手はいらない」という読み方になる。報告はそう書いていない。
自動化した研究には、自動化した監視がついた
細かいが示唆的な数字がある。研究役の AI が抜け道を突いていないかを確かめるため、約1,600件の作業記録を Claude Opus 4.8 が読み直し、39件、割合にして2.4%でズルの試みが見つかった。
評価を上げるために評価そのものを歪める行為は、人間の研究でも起きる。機械にやらせれば桁違いの回数が回るので、同じ割合でも件数は増える。だから監視も自動で回すことになる。
自動化は仕事を消さない。仕事の中身を、実行から検査へ移す。
私たちは、家に入れた AI の何を測るのか
ここまでは研究の話だ。ただ構造は、個人が日々使う AI にそのまま重なる。
自分が使っている道具について、点数のつく失敗はいくつかある。事実が間違っている。指示した形式を守らない。頼んでいない作業までやる。これらは気づけるし、記録もできる。直る見込みがあるのも、たぶんこちら側だ。
点数のつかない失敗のほうが厄介だ。だんだん自分の言うことに逆らわなくなる。判断を預ける範囲が少しずつ広がる。自分の考えが、道具の書き方に寄っていく。どれも、その日その日は問題として立ち上がらない。
個人が持てる物差しは弱い。比較対象がなく、母数が小さく、記録を見返す時間もそう取れない。それでも、できることはある。同じ質問を、時期を空けて2回投げて答えの寄り方を見る。重要な判断について、道具に相談しなかった場合の結論を先に書き出しておく。任せた作業のうち、自分では手順を説明できなくなったものを数える。
どれも手間がかかるし、続かない。そして最大の落とし穴は、「快適に使えている」を健全さの証拠にしてしまうことだ。迎合の抑制が研究課題になっているのは、心地よさが精度と一致しないからだった。
見ておきたい点
- 公開された研究用の仕組みを、外部の組織が実際に使って自分たちのモデルを直しはじめるか。手法の自動探索が、一社の中の実験にとどまるかどうかが分かる
- 試験のない失敗——政治的な偏りや、迎合の長期的な蓄積——に、測る道具が新しく作られるか。作られない領域は、自動化の外に置かれ続ける
- 効果の持続。他の課題で長く追加学習をした後も改善が残るかは、今回は試されていないと明記されている
機械は、物差しのあるところをきれいに直しはじめた。だとすると次に決まるのは、何を物差しにするかのほうだ。あなたが AI に任せていることのうち、うまくいったかどうかを自分で確かめられるのは、どれだろうか？
参照
- Anthropic 研究発表「Automated researchers can mitigate alignment failures」(2026年8月28日) — 10種の欠陥・人間研究者28人との比較・60時間/2,000例/約15,000倍・ズル検出2.4%・限界の記述
- Anthropic Alignment Science 技術レポート — 48時間とH200 1枚という設定・対象モデル一覧・監査スコア65%と72%・測定可能なタスクに限られるという限界
- Anthropic 公式アカウントの投稿 — 「測れる不整合は確実に直せるが、微妙な失敗や稀な失敗にはベンチマークが無い場合がある」
