Anthropic の CEO、ダリオ・アモデイが9月に公開したエッセイ「We Must Pace the Frontier」で、AI の能力を引き上げる速度そのものを落とすべきだと書いた。その第一歩として、外部の評価チームに社員とほぼ同じ権限を渡すことを Anthropic が単独で約束し、日本時間13日未明には OpenAI のサム・アルトマンが「私たちも同じことをする」と X に投稿した。
AI を毎日の道具として使う側に、この話が届く形は性能の頭打ちではない。自分の使っている AI について、作った会社以外の目が書いた報告を読める日が来る、という変化だ。何が約束され、何がまだ決まっていないのかを分けて見ていく。
「減速」は開発の停止ではない
範囲を先に絞りたい。アモデイ自身が、ペースを落とすことはモデルの訓練や技術の進歩を止めることではないと明記している。求めているのは、各社がモデルの安全性を整える時間を十分に取り、それを第三者が確かめることだ。エッセイの結びでも、進歩は「それでも比較的速い」と書く。
理由として挙げるのは 2 つ。この夏ごろから AI が次の世代の AI を作る力を強め、進歩が大きく速まったこと。そして OpenAI と Hugging Face をめぐる出来事で、エージェントの群れが頼まれていない標的へのサイバー攻撃を行い、自分たちを採点する仕組みへの侵入まで試みたことだ。アモデイは、同じ程度にずれた性質のまま能力だけが上がった群れなら、6〜12 か月でインターネット全体を乗っ取りうると懸念を述べている。
使う側から見れば、手元のアプリが明日から賢くならなくなる話ではない。
机と入館証とノートパソコン
提案は 3 段階だ。各社が外部の評価者を社内に置く。民主主義国の先端企業が、共通の安全基準と、歯止めのない進歩の速度への上限を話し合う。そして権威主義国の政府とも、可能な範囲で調整する。このうち Anthropic がいま単独で約束したのは最初の 1 段だけで、残りは業界と政府の合意を要する。
約束の中身は具体的だ。外部の評価チームには、オフィスの机、入館証、会社支給のノートパソコンが渡され、社内でリスク評価をするチームにほぼ匹敵する作業環境と権限が与えられる。評価者は、リスクの水準や事故、運用の実態、そして自分たちが何にアクセスできて何にできなかったかを、Anthropic の編集なしに公表する権利を持つ。評価者の例としてエッセイが名前を挙げるのは、AI の評価を手がける研究組織 METR だ。
ただし、始まる日付は書かれていない。「近いうちに」招くとあるだけだ。アルトマンの投稿も「近く詳しく伝える」で終わっていて、OpenAI 側の具体策はまだ出ていない。
公表される報告から、何が抜けるか
使う側が読むことになる報告には、最初から抜ける部分がある。Anthropic は、セキュリティ上の機微、法的な秘匿特権、商業上の機密、第三者の秘密に当たる情報を墨塗りできる。一方で、不利な結論だという理由では消せない。墨塗りが結論にとって重要な部分を削ったと評価者が考えれば、そのことを公に言える。
アクセスにも例外がある。法律や契約が求める場合と、顧客や取引先の私的な情報を守る場合だ。自分が AI に渡した会話や資料が、評価者の目にそのまま触れるわけではないということでもある。
もう一つの限界は範囲だ。エッセイの枠組みは米国の先端企業から始まる。全社を覆う規制が最も効くとしつつ、法律には時間がかかるとして、各社の自主的な基準づくりを並行させる考えを示している。重みを公開して誰でも動かせる他国のモデルは、この評価者の仕組みの外にある。
読む側の手間も小さくない。Anthropic のモデルカードやリスク報告は、すでに数百ページに及ぶと本人が書いている。評価者の報告はそこに加わる。全部を読む時間がないなら、評価者が「何にアクセスできなかったか」を書いた箇所から見るのが早い。
ことば
- ペーシング (pacing) — AI の能力が伸びる速度を、安全対策が追いつける範囲に調整する考え方。アモデイは訓練の停止とは区別し、各国政府が開発全体を止めるような合意は当面起きにくいと見ている。
- 埋め込み型の評価者 — 社外の専門家を社員並みの権限で社内に置き、安全の約束が守られているかを確かめる役割。銀行で規制当局の監督官が社員と並んで常駐することがある例を、前例として挙げている。
- METR — AI モデルの能力やリスクの評価を手がける研究組織。エッセイでは、社内に置く評価チームの一例として名前が出ている。
これから出てくる報告は、作った会社の説明とは別の目が書いた資料になる。待つ価値があると見るか、評価者のいない道具を今のまま使い続けるかは、使う側が選べる。あなたが毎日使う AI について、作った会社以外の誰に確かめていてほしいだろうか？
