OpenAI は11月2日（米国時間）、暮らしの用事をどこまで AI が片づけられるかを測る評価「LifeVal」を公開した。保育先探し、行政サービスの利用、家計の予算づくり、学校の準備、食料品の注文といった、毎日の生活で人が助けを求める作業を課題にしている。
物差しが変わると、AI の作り手が何を伸ばそうとするかも変わる。知識を問う試験ではなく、用事を片づけた結果で点を付ける評価が出てきたことは、私たちが AI に何を頼み、何を自分で確かめるかを考え直すきっかけになる。
物差しの作り方
OpenAI によると、出発点は人々の時間の使い方を記録した2つの大規模調査だ。米国の「American Time Use Survey」と、各国を対象にした「Multinational Time Use Study」から、暮らしの中の作業を洗い出した。そのうえで、人口構成を反映するように集めた3,995人に新たな調査を行い、作業ごとに、どこで個人アシスタントの助けがほしいかを尋ねた。
OpenAI の X 投稿は、これを「数千人の ChatGPT 利用者の声」から形づくったと紹介している。浮かび上がった分野は、介護、健康、教育、家の事務、家計、買い物、行政サービスの利用の7つ。OpenAI はこの評価を、過去1年間のモデルの改善を追い、後押しするのに使ってきたとしている。
示された課題と点数
ブログには課題の例が点数つきで並ぶ。
- 引っ越し先の近くで幼稚園を比べ、候補を絞る — 93.1%
- 洪水に備え、近所4軒の浸水対策を手伝うボランティアを段取りする — 98.0%
- 予算や通勤の条件に合う家をペンシルベニア州ルザーン郡で探し、権利証書をカートに入れる — 100%
- 離れて暮らす祖母と試合を一緒に見られる配信の準備をする — 96.3%
- 糖尿病と診断された親のために、最初の1週間の食事と見守りの計画を立てる — 90.4%
課題の答え方にも特徴がある。幼稚園の例では、AI は3園に絞って入園の情報を整理したうえで「2つの希望はまだあなたが決める必要がある」と返す。家の例でも、AI がするのは証書をカートに入れるところまでで、確かめるのは人の側に残る。OpenAI は、ブラウザやパソコンの操作、外部サービスとの連携をこの1年で鍛えてきたと書いており、相談相手から「用事を進める代理人」へ移ろうとしている。
点数をそのまま暮らしに当てはめない
この数字には読み方の注意がいる。課題を選び、点を付けたのは OpenAI 自身で、示された点数も自社の現行モデルのものだ。他社の AI と並べて比べた結果ではない。
課題の舞台も米国が中心だ。ルザーン郡の家探しや米国の幼稚園の入園手続きは、日本の保育園の申し込みや市区町村の窓口とは制度も書類も違う。100%の課題があるからといって、自分の住む自治体の手続きを同じ精度で進められるとは限らない。
用事を任せるには、AI にブラウザやアカウントへの操作を許すことになる。予約や注文、申し込みのように取り消しにくい作業ほど、どこまでを AI に進めさせ、どこで自分が確認するかの線を先に決めておかないと、便利さがそのまま失敗の大きさになる。健康に関わる計画は、例の答えのとおり、医療の担当者に確かめる前提で使うものだ。
次に確かめること
まずは手元の用事で試すとよい。たとえば次の保育や学校の申し込み、引っ越しの手続きを、AI に下調べと比較表づくりまで頼み、申請の最後の一歩は自分で踏む。そのうえで、OpenAI が次のモデルを出すときの発表ページに LifeVal の点数が載るか、課題の中身がどこまで公開されるかを見ておきたい。点数が上がるほど、任せる範囲を広げるかどうかの判断が私たちの側に回ってくる。
ことば
- LifeVal — OpenAI が11月に公開した、暮らしの用事を AI がどこまで片づけられるかを測る評価。時間の使い方の調査と3,995人への調査から、人が助けを求める作業を課題にしている。
- 個人アシスタント（エージェント） — 質問に答えるだけでなく、ウェブの操作や外部サービスとの連携を通じて、予約や注文などの用事を利用者の代わりに進める AI。任せる範囲を利用者が決める必要がある。
あなたが AI に頼みたい暮らしの用事は何で、最後の一歩はどこで自分が引き取るだろうか？
