8月27日、Google DeepMind が「世界初の二重盲検 AI 評価」と呼ぶ試験を公表した。外部の評価者はモデルの重みを見ず、DeepMind 側は出された問題を見ない。両方が相手に中身を渡さないまま、採点だけが成立する。
「安全性は第三者が確認しました」という一文の後ろ側が、契約書から機械のほうへ移り始めている。使う側にとって効いてくるのは、その一文そのものではない。そこで誰が誰を信じる設計になっているか、のほうだ。
何を隠したまま、何を測ったのか
測られたのは Gemini 2.5 Flash Lite。使われたのは MLCommons の安全性ベンチマーク AILuminate のうち、どのモデルもまだ一度も処理したことのない予備の問題群だ。化学・生物・放射性物質・核・爆発物にまつわる危険、サイバー攻撃、ヘイト、自傷、暴力犯罪の誘発といった領域が含まれる。
手を動かしたのは DeepMind ではない。独立監査の立場で AVERI が問題を暗号化して投入し、返ってきた出力を復号して評価した。計算の土台は OpenMined の秘匿計算基盤で、実行場所は Google Cloud の Confidential Space 上に立てた、Intel の機構でメモリを暗号化したホストと NVIDIA H100 の秘匿 GPU だ。もう一本、Singapore AI Safety Institute とは、シンガポールの文脈に絞った非公開の問題集で同じ形の評価を行っている。
なぜここまでするのか。出題が事前にモデルに渡っていると、点は上がる。学習に混ざれば、なおさら上がる。
「漏らさないと約束する」から「渡さずに済ませる」へ
これまでも、外部評価者のテスト問題は守られてきた。記録を残さない運用と、契約上の取り決めによって、だ。DeepMind 自身がそう書いている。ただしそれは、相手が約束を守るという前提の上に載っていた。
今回変わったのは、その前提を機械の側へ移したことだ。評価者は自分のベンチマークを相手に渡さずに済み、モデルを持つ側は重みを相手の設備に置かずに済む。守秘が、運用の努力ではなく構造の帰結になる。
報告書は、先行する試みにも触れている。2024 年に OpenMined が英国の AI Safety Institute と Anthropic と行った実験だ。ただしそれは GPT-2 を 5 行分の問題で試した小規模なもので、二つの組織の資産を同時に守るという目的までは果たしていない、と報告書は書く。「世界初」の中身は、そこにある。
秘密が減ったのではない。秘密の置き場所が変わった。
信頼は消えず、Intel と Google のほうへ移った
ここからが、ラベルだけを見ていると落ちる部分だ。報告書は、自分たちの設計に残った穴を自分で並べている。
Confidential Space の土台となるソフトウェアは、公開されてはいるが、個別のビルドを外部が独立に再現することはできない。署名鍵が非公開だからだ。そして「この環境は本物だ」と証明する仕組みの署名と検証は、Google のサービスに依存する。報告書はこれを、Google が検証の経路に入り、Google に置く信頼が増すことになる、と明記している。
さらに下、CPU のマイクロコードや保護機構のファームウェアは非公開で、そこは Intel や AMD を信じるほかない。加えて、推論を動かすコードのすべてを検査して許可リストに載せることはできず、独自実装が残った。AVERI はそれを承知した上で、全体の構成を受け入れている。
つまり二重盲検は、信頼を無くす装置ではない。信頼する相手を選び直す装置だ。
測れた範囲も、まだ狭い。対象は Gemini 2.5 Flash Lite 一つで、軽量な系列の、前面に置かれている上位のモデルではない。点数も公表されていない。今回示されたのは「この方法が最後まで回った」ことであって、「このモデルは安全だった」ことではない。報告書は、数兆規模のモデルを同じやり方で測るには多数の機械をつないだ秘匿の計算群が要り、それが次の目標だとも書いている。いちばん大きいモデルは、まだこの方法の外にある。
ラベルの裏を、どこまで開くか
この仕組みを個人が回すことはできない。専用の GPU も、独立した監査人も、法務の調整も要る。報告書自身、いまの律速は計算の重さではなく、契約とコードレビューにかかる人手だと書いている。使う側が手にできるのは、読み方だけだ。
読み方は三つに分けられる。測られたのはどのモデルか。自分が毎日開いているものと同じ名前か。誰が問題を作り、誰が採点したか。作った本人か、外の誰かか。そして何が公表され、何が公表されていないか。方法なのか、結果なのか。
これには手間がかかる。ラベルを見るだけなら数秒で、報告書まで遡れば数十分かかる。英語で、企業の告知文より読みにくい。毎回やる必要はない。ただ、重い判断を任せるときに一度も遡らないなら、そのラベルは自分にとって何も言っていないのと同じになる。
これまでは、遡っても契約書の存在しか分からなかった。これからは、誰を信じる設計なのかまで書かれていることがある。「安全性は第三者が確認済みです」と書かれていたとき、あなたはどこまで遡って読むだろうか？
