9月14日、OpenAI の Sam Altman が X に、AI の進歩がひどく悪い方向へ行きうる道は二つあり、避けなければならないと書いた。一つは未来の制御を AI に奪われること、もう一つは極端に強い AI を一人の人間や一つの会社が使い、自分の世界観を全員に押しつけるような力の集中だ。
前者は研究所の中で解く問題に聞こえる。後者は、毎日 AI に用事を頼む側にも触る。誰の道具に、どこまで自分の仕事や記録を預けているかは、力がどこに集まるかの小さな一部だからだ。
投稿が何を言い、何を言っていないのか。そして使う側に選べることがどこにあるのかを見ていく。
Altman の二つの投稿と、2日前の Amodei の論考
一つ目の失敗について Altman は、制御を失うことは受け入れられないとし、自分たちは迷いなく「Team Humanity」、つまり人類の側にいて、AI は常に人に仕えなければならないと書いた。そのためには、整合性と安全の技術が、モデルの能力の伸びより先を行き続ける方法が要るという。二つ目の失敗を含めて、両方を避けるには狭い中間の道を歩く必要があるとし、一つの国が力を持ちすぎること、一つの研究所が力を持ちすぎることを例に挙げている。
その13分前に出た長い投稿は、進め方の話だ。能力を増す AI を開発する米国企業が責任ある行動をとるという確信を、世界は持てるべきだとする。最先端 AI に一貫した安全要件を課す連邦の枠組みを歓迎し、独立した監査人のような案にも期待していると書く。一方で、反トラスト法の適用除外や立法を待たずに、この仕事は始められるとも言う。
具体例として挙げているのは、OpenAI では能力が大きく伸びると見込む最先端の強化学習を実行する前に、明示的なセーフティケースを作っている、という点だ。そして「ペース配分」は「停止」ではないと断っている。進歩は速く、これからも続く。ただ本来可能な速さよりは遅くあるべきで、そのための安全策には大きなコストがかかる、と。
背景には、Anthropic の Dario Amodei が9月12日に公開した論考「We Must Pace the Frontier」がある。AI モデルの能力を上げる速さを落とすべきだとして三段階の計画を示し、第一段階として、外部の評価者に社員と同じような継続的なアクセスを与えることを掲げた。Altman はこの提案への同意を表明したと報じられている。
投稿に書かれていないこと
投稿は方針の表明で、どこからが「力を持ちすぎ」なのかという基準は書かれていない。一つの研究所への集中を避けるという目標と、自社が最先端の開発を続けることがどう両立するのかも、投稿の範囲では示されていない。
この言葉は、最先端の開発を担う会社の代表から出ている。当事者が自ら懸念を言葉にしたと読むこともできるし、基準を置かないまま方向だけを示したと読むこともできる。どちらに重みを置くかは、これから出てくる具体策しだいになる。
使う側の手元にある、小さな集中
先に限界を置いておく。Altman が書いた集中は国や研究所の単位の話で、個人がどのサービスを選んでも、それ自体を止められるわけではない。
それでも、手元には手元の集中がある。一つのサービスに会話の履歴、覚えさせた好み、作ったファイル、毎日の手順が積み上がるほど、別の道具へ移る手間は増える。料金や規約が変わったとき、提供が止まったときに、選べる幅が狭くなる。
形はいくつかある。
- 一つのサービスに寄せて、使い込む
- 用事ごとに、複数のサービスを使い分ける
- 履歴や作ったものを、書き出せる形で手元にも残しておく
- 重みが公開されたモデルを、自分の端末で動かす
どれにも引き換えがある。寄せれば便利さは最大になるが、移るときの手間も最大になる。使い分ければ料金と管理の手間が増え、覚えさせた文脈も散らばる。書き出せる範囲はサービスごとに違い、記憶や設定まで持ち出せるとは限らない。手元で動かすには相応のメモリと計算資源が要り、最先端のモデルと同じ性能は期待しにくい。
次に見るものは、他の研究所がセーフティケースや外部評価者の受け入れにどう応じるか、そして OpenAI が Amodei の第一段階に合わせる具体的な仕組みを示すかどうかだ。
ことば
- 整合性 (アラインメント) — AI の振る舞いを、人が意図した目的や価値に沿わせるための研究と技術。Altman は、この技術が能力の伸びより先を行き続けることを、制御を失わないための条件に置いている。
- セーフティケース — ある AI システムが十分に安全だと言える根拠を、事前に文書として組み立てたもの。OpenAI は、能力が大きく伸びると見込む訓練を始める前にこれを作っているとしている。
- ペース配分 — 開発を止めるのではなく、安全策が追いつく速さまで能力の向上を抑えるという考え方。Amodei が論考で提起し、Altman も停止とは違うと強調した。
いま手元の AI に預けている履歴や手順のうち、明日そのサービスが使えなくなったら持ち出せないものは、どれだろうか？
