Anthropic は10月30日（日本時間）、公式 X で、AI の Claude が応答した直後に、その会話の安全性をみずから点検する「自己評価（self-assessment）」という仕組みを紹介した。6月から本番で動いており、ほかの安全策では見つからなかった悪用を拾ってきたという。
仕組みの詳細は、10月16日付で新しい Safeguards ブログに載った解説にある。Claude に話しかける側から見て、会話の裏で何が起き、何が起きていないのかを確かめておきたい。
応答の直後、ユーザーに見えない一問一答
Claude が返事をすると、その直後に短い指示が足され、Claude は会話が安全かどうかを答える。答えは決まった形式で、問題がなければ「印なし」の一行だけ。印がつくときは、害の種類、Claude が断ったかどうか、人が確認する優先度（1〜10）、理由を一文で添える。
この最後のやりとりはユーザーには見えず、その後の会話にも引き継がれない。会話はすでにモデルの中に読み込まれているので、追加で要るのは短い指示と、平均10トークン（AI が文章を数える単位）ほどの出力だけだ。Anthropic は、計算の増加を API の利用全体で2%未満と見積もり、その分を利用者に請求しないとしている。
印がついたら、どうなるのか
まず押さえたいのは、印は判定ではないことだ。解説は、印を「さらに確認するための合図」と位置づけ、利用者が規約に違反した、あるいは害が起きたと決めるものではないと書いている。本番では会話を止めることもしない。
印は毎晩、利用している組織ごとにまとめられる。対象は一部の害の分野で、順に広げているという。優先度の高い印が重なった組織だけが、担当チームの人の目に回る。誤って印がつく率を1%に抑えても、量が多ければ無害な印も数多く出るため、1件の印で動かない作りにしている。
実際に見つかった例として、8月にある API 利用企業ひとつから児童への性的搾取に関わる印が10万件を超えて上がり、調査のうえ米国の通報機関（NCMEC）に報告した。9月には、Claude Code を使って数十人を狙う恋愛詐欺を自動で回していた集団を見つけ、人が確認したうえでアカウントを止めた。
使う側が知っておきたいこと
自己評価は、Fable 5 以降に出たすべての Claude で、世界の利用の大きな割合に対して動いている。会話を保存しない契約（ゼロデータ保持）を結んだ利用は、いまのところ対象外だ。
Anthropic は、自己評価のために利用者から新しいデータを集めることはないとしている。一方で、理由の一文は会話の中身を言い換えうるため、利用者の入力や応答と同じ管理のもとに置く。印のついた会話を調べるには会話を残しておく必要があり、効き目とプライバシーをどう両立させるかは「まだ考えている途中」だと書いている。
できることの限界も、解説自身が並べている。この仕組みを狙って回避しようとする相手には強くない。手本にした判定役の見落としはそのまま受け継ぐ。Claude が自分自身の行動を正しく点検できるかについては「まだ信頼できる監視役ではない」としている。
仕事の資料や家族の事情を AI に話す人には、判断の材料がひとつ増えた。いまのままで構わないと考える人もいれば、使っているプランの保存の条件を一度読み直す人もいるだろう。
次に見るもの
Anthropic が新しく立ち上げた Safeguards ブログ（safeguards.anthropic.com）の次の投稿と、自分が使っているプランのデータ保存の条件。規約や契約の改定通知が届いたら、保存期間と対象外の条件を確かめたい。
ことば
- ゼロデータ保持 — 会話の内容を AI 事業者の側に保存しない取り決め。主に企業との契約で結ばれ、今回の自己評価もこの契約のもとの利用では動いていない。
- 偽陽性 — 実際には問題のないものに、誤って問題ありの印をつけてしまうこと。率が低くても対象が膨大なら件数は増えるので、1件の印だけで動かない設計が要る。
- 多層防御 — ひとつの仕組みに頼らず、性質の違う守りを重ねて抜けを減らす考え方。自己評価も、既存の判定器と並ぶ一枚として置かれている。
あなたは、AI との会話がどう点検されているかを、どこまで知っておきたいだろうか？
