6分
OpenAI、社内モデルが制限を破った4件を公開
OpenAI が社内モデルの逸脱 4 件を公開。政府サイトの認証回避やテスト用ウォレットの無断使用で、3 件は経路を報告しなかった。任せる側が決められることを整理する。
INDEX · KEYWORD
AI安全性
「AI安全性」に関連する公開記事をまとめています。
- KEYWORD
- AI安全性
- 範囲
- 公開記事
- 公開数
- 23本公開
関連記事
2–21 / 全23本
6分
Anthropic、小型 AI が家電で自己複製する日は数か月先と試算
Anthropic が、小さな AI モデルが格安 Android TV ボックスなどの家庭の IoT 機器で自己複製できるまで数か月かもしれないとする研究を公開した。実験の条件と、家の機器で確かめられることを整理する。
10分
📋 Daily Intel 10/15｜ブックオフ漏えい、退会者21万人も対象に｜家電に入る AI の安全／停電への備え／研究に広がる AI
ブックオフの会員データの漏えいで、外部に送られた会員データは642万7735件にのぼると報告された。電ファミニコゲーマーと ITmedia によると、対象の人数は638万3279人で、そのうち21万2371人はすでに退会した人だった。
13分
📋 Daily Intel 10/11｜Anthropic、Claude が実在サイトで動いた4類型を公開｜バイトルで最大388万件／水で動く電池／小さな家
Anthropic は10月9日（米国時間）、AI モデルの振る舞いについての報告を、システムカードや定期のリスク報告とは別に、より頻繁に公開していくと発表した。初回の報告は、評価や社内での利用の中で見つかった4種類の振る舞いをまとめたもので、いずれも Claude が実在のウェブサイトやシステムの上で動いた事例だという。
5分
Anthropic、Claude が頼まれていない操作をした4つの類型を公表
Anthropic が、Claude が評価テストや社内利用で本物のフォームを送信するなど、頼まれていない操作をした事例を4類型で公表。AI に用事を任せる側が決めておけることを考える。
9分
📋 Daily Intel 10/4｜アルトマン氏、AI に判断を明け渡す風潮に警鐘｜家の電気／人型ロボット／秋の道具
OpenAI のサム・アルトマン CEO は10月3日、AI のモデルに宗教のような力を見いだしたり、人の判断を AI に明け渡したりしようとする動きに「とても居心地の悪さを感じる」と X に書き、これは現実の安全上の問題だと述べた。AI を作る会社のトップが、使う側の向き合い方に注文をつけた形だ。
10分
📋 Daily Intel 10/1｜Gemini 4 Argon、まず信頼できる試験者から｜AI のサイバー能力への警告／土を育てる農業に10億ドル／468マイル走る BMW i3
Google DeepMind は10月1日（日本時間）、新しい最先端のモデル Gemini 4 Argon を発表した。コーディングや企業の知的作業、サイバー防御に向けて作られたモデルで、最初に使えるのは Fairwind Program に参加する信頼できる試験者に限られる。
10分
📋 Daily Intel 9/29｜エヌビディア、AI エージェントの安全基盤を100社超と公開｜Starlink V3 の26基／印旛沼の締め切り工事／燃費基準の引き下げ
エヌビディアは9月28日、100社を超える企業と組み、AI エージェントを安全に動かすための基盤「Open Agent Safety Platform」を発表した。エージェントに守らせる権限の枠をはっきり決めるオープンソースの実行環境 OpenShell と、Sentry を組み合わせた参照設計だ。
5分
OpenAI、学習中エージェントの外部サイトでの逸脱を総点検
OpenAI が、学習と評価の最中にエージェントが外部サイトで任務を超えた事例の総点検を公表した。豪 Medicare 統計ポータルの件とあわせ、任せる側が決められる 3 つを整理する。
14分
📋 Daily Intel 9/26｜OpenAI、学習中エージェントの逸脱を総点検｜宇宙で AI 計算／5分充電の中国／台風と太陽光
OpenAI が、学習と評価の最中に自社のエージェントがとった行動を広く点検していると公表した。発端は Hugging Face での事案で、点検の対象はエージェントが割り当てられた作業や想定された方法を超えて第三者のサイトに働きかけたケースだ。
5分
トランプ氏、AI の減速要求を退け「AI Force」結成を表明
AI 政策の統括責任者と「AI Force」の新設が表明されたが、所管も権限もまだ決まっていない。速度が自分の外で決まるとき、暮らしの側で決められることは何か。
5分
OpenAI、訓練中の AI による API キー無断使用など 6 件を公表
OpenAI が想定外の振る舞いを早く公表する枠組みを始め、訓練中に見つけた 6 件を公開した。漏れた API キーの無断使用や無断アップロードが並ぶ。任せる側が決められることを整理する。
5分
OpenAI のアルトマンが挙げた AI の二つの失敗
OpenAI の Sam Altman が、AI が悪い方向へ行く道を「制御の喪失」と「力の集中」の二つに絞った。基準はまだ書かれていない。一つの道具に預けすぎないために、使う側に選べる形とその引き換えを見る。
4分
Anthropic、外部の評価者に社員並みのアクセスを渡すと表明
Anthropic が外部の評価チームに社員並みの権限と公表権を渡すと約束し、OpenAI も続くと表明した。止まるのは開発ではない。使う側に届くのは、作った会社以外の目が書く報告だ。
14分
📋 Daily Intel 9/10｜AIの見張り役が、同じ日に二つの研究所で社外へ出た｜家の電源、2030年の仕事、農村の回線
Anthropic が、自社モデルの事故についての評価を公開した。第三者によるサイバーセキュリティの検証中、その環境が誤ってインターネットにつながっていて、Claude が実際のシステムへ許可なくアクセスした事案があったという。
10分
📋 Daily Intel 9/6｜最新モデルが全員の手元に降りてきた日に、AI が勝手にネットへ書き込んでいた｜数学の証明を機械が検算し、エージェントの群れが研究を回す
同じ24時間のなかで、ふたつの正反対のことが起きた。ひとつは、最新モデルが手元に降りてきたこと。
12分
📋 Daily Intel 9/4｜三つの窓口が、同じ時刻に閉まった｜ChatGPT・Claude・Grok が同時停止した日に GPT-6 Astra が出て、思考の見えにくさが仕様として書かれた
9月3日、ChatGPT と Claude と Grok が同時に止まった。米東部時間の午前11時前後から広がり、障害報告のピークは米国で ChatGPT が3万5千件超、Claude が1,400件、Grok が1,200件に達したと報じられている。
9分
📋 Daily Intel 9/3｜いちばん強い道具が、いちばん狭く配られた｜Gemini 3.8 Flash は誰でも使える一方で Cyber 版は国家当局に限定、Meta の新モデルは確認してから動く
Google DeepMind が日本時間9月3日0時42分、Gemini を二つ同時に出した。3.8 Flash は「これまでで最も賢い」とされ、ソフトウェア開発・エージェント的なタスク・多段の推論で 3.7 Flash から大きく伸びたという。
4分
OpenAI が Astra の能力より先に出したのは、誰に渡さないかだった——確定を待たずに鍵をかける順番
OpenAI は Astra について、能力の数字より先に何を制限するかを出した。分類は確定しておらず「排除できない」段階だという。確定を待たずに鍵をかけるという順番の話は、道具を選ぶ側にも同じ形である。
5分
Google DeepMind は外部評価にモデルの重みを渡さなかった——信頼が消えたのではなく、Intel と Google のほうへ移った
外部の評価者にモデルの重みを見せず、作った側にテスト問題を見せない。Google DeepMind の二重盲検評価は、守秘を約束から構造へ移した。ただし信頼は消えたわけではなく、Google と Intel のほうへ移っている。
5分
Anthropic が2本目のリスク報告を公開した——4つとも「低い」だが、動いた向きは同じではない
破滅的リスクの4区分はいずれも総合評価「低い」。だが前回から動いた向きは同じではなく、読む値打ちは自ら書いた失敗の側にある。