OpenAI は11月20日、自社モデルの「蒸留」を防ぐ取り組みについての研究を公開した。蒸留は、あるAIの出力を使って別のAIを訓練する手法で、無断で行われると能力だけが写され、元のモデルに組み込んだ安全策は引き継がれないと同社は説明している。研究の中心は、モデルが答えを出すまでの途中の推論をどう守るかだった。
AI を使う側にとっては、画面に出る「考えの要約」がなぜ要約なのか、そして作り手の分からない格安の AI を選ぶとき何を気にするかにつながる話だ。発表直後の第一報はこちらの速報で伝えている。
蒸留で何が写るのか
OpenAI は社内で実験を行った。先生役に同社の上位モデル Astra 級を置き、生徒役には同じ事前学習済みのモデルを用意した。生徒にはプログラミングと、防御側のサイバーセキュリティ作業の手順を学ばせた。
比べたのは、先生の推論の過程をそのまま見せた生徒と、推論の要約だけを見せた生徒だ。前者はおおむね後者を上回り、追加の強化学習のあとも、最も長く考えさせた条件では上回った。同社はここから、推論の過程を守ればサイバー分野の能力が写されるのを抑えられる、と結論づけている。利用規約で認められた作業であっても、だという。
安全策は、モデルが何を引き受け何を断るかを決める仕組みだ。能力だけが写された別のモデルには、その判断の部分が付いてこないおそれがある。同社が安全の問題として扱うのはこのためで、特にサイバーセキュリティや生物学のような、役にも害にも使える分野で懸念がはっきりするとしている。
抜き出し攻撃の成功率、54%から0.2%へ
守る側の成果として示したのが、隠している推論を引き出そうとする攻撃の成功率だ。同社が攻撃役を立てて試した平均の成功率は次のとおりだった。
| 攻撃の種類 | GPT-6 Astra (以前の安全策) | GPT-6.2 Astra (新しい安全策) |
|---|---|---|
| 前のやり取りから引き出す | 54.0% | 0.2% |
| いまの依頼から引き出す | 22.9% | 0.9% |
改善の一部は GPT-6 Astra にも適用を始めているという。なお、数字はいずれも OpenAI 自身の測定だ。
API と利用者の側で変わること
守り方は二段に分かれる。一つは個々の依頼の段階で、攻撃を想定した訓練、入力と出力を見張る分類器、API の制限を組み合わせる。API では、守られた推論をそれを生んだ会話に結びつけ、メッセージが書き換えられたあとは推論を引き継がないようにした。古い世代のモデルからは GPT-6.2 の推論を読めないようにもした。API でアプリを作っている人は、会話の履歴を書き換えて推論を使い回すような作り方が通らなくなる。
もう一つは、組織だった抜き出しの活動への対処だ。アカウントのつながりを調べてまとめて措置し、その痕跡をほかの AI の提供元とも共有する。措置したアカウントは週に数千から数万で、この夏に大きく増えたという。同社は、2月に米議会へ DeepSeek が米国の最先端モデルの蒸留を試みていたと説明し、9月の報告では活動の中心部分を Kimi の開発元 Moonshot AI の関係者によるものとしている。
推論を隠すことには、使う側の不便も付いてくる。AI がなぜその答えに至ったかを、利用者は要約からしか確かめられない。守ることと見せることの釣り合いは、これからも提供元ごとに分かれていくだろう。
格安の AI を選ぶときに
蒸留で作られたモデルかどうかは、利用者の側からはまず見分けられない。性能の数字が似ていても、断るべき依頼を断る仕組みまで同じとは限らない、というのが今回の研究の含みだ。
手がかりにできるのは、提供元が誰で、利用規約と安全策をどこまで公開しているかだ。仕事の書類や家族の情報を預ける AI ほど、値段や速さだけで選ばず、その一点を確かめておきたい。ただ、公開している中身を個人が検証する手段は限られる。分かるのは「書いてあるかどうか」までだ。
次に見るもの
OpenAI は、最近妨害した活動について近く詳しく共有するとしている。確かめる先は OpenAI の公式ブログで、9月に出した蒸留の活動についての報告の続きとして、どの活動をどう見つけたかが具体的に出るかが次の見どころだ。同社は業界団体 Frontier Model Forum を通じても知見を共有したとしている。
ことば
- 蒸留 — 大きく賢いモデルの出力を教材にして、別のモデルを訓練する手法。正規に使えばモデルを小さく速くできるが、無断で行われると能力だけが写され、安全策が抜け落ちるおそれがある。
- 推論の過程 — モデルが答えを出す前に内部で作る途中の考え。OpenAI はこれをそのまま見せず要約だけを示し、今回、抜き出しを防ぐ仕組みを強めた。
答えの速さと安さで選んできた AI の、断る力まで確かめたことはあるだろうか?
