Co-Design Bench、最上位の AI でも完全な修正は 26.4%
実際の利用者の依頼から作った 273 の課題で、AI のコーディングエージェントを試す新しいベンチマーク。最上位でも要件の 7 割は満たすが、全部を満たした課題は 26.4% だった。
INDEX · KEYWORD
「ベンチマーク」に関連する公開記事をまとめています。
実際の利用者の依頼から作った 273 の課題で、AI のコーディングエージェントを試す新しいベンチマーク。最上位でも要件の 7 割は満たすが、全部を満たした課題は 26.4% だった。
Alibaba の Qwen がスマートフォンを操作するエージェント群を公開。三つに役割を分け、完遂率は自社の評価基準で 90%。窓口のないアプリでは画面をそのまま見て操作する。
同じ24時間に、電気と住まいを系統から少し外す製品の話が二つ並んだ。EcoFlow がベルリンの IFA2026 で新しいポータブル電源 PowerRock を発表した。
48時間と GPU 1枚で、Claude は10種類の欠陥すべてに改善策を見つけた。ただし直せたのは、あらかじめ点数のつく失敗だけだ。測る道具のない失敗は、直っていないのではなく数えられていない。
Tencent が 770B のモデルの重みを公開した。誰でも落とせるのは本当だが、置き場は 1.5 テラバイト級で、公式の起動手順は GPU 8 枚を前提にしている。そして「最上位」と採点したのは、出した本人だった。
手元に置ける大きさのモデルに、上位帯に見える数字が付いた。ただしその52は英語のテキストで測られていて、このモデルの目も、日本語も、まだ数字の外にある。