Google DeepMind とシンガポール政府のテクノロジー庁 (GovTech Singapore) は10月14日、スマートフォンの中だけで動く詐欺検知の AI モデルを共同で作ったと発表した。Google の公開モデル Gemma を、シンガポールで実際に使われた詐欺の会話で調整したものだ。
会話の中身は端末の外に出ず、政府も Google も読めない仕組みだという。詐欺から守る AI が、受け取る側の手元に置かれる。その代わり、自分の会話をその AI に読ませるかどうかを、使う人が決めることになる。
被害の8割を生む「会話型」の詐欺
DeepMind のブログによると、投資詐欺、偽の求人、公的機関の職員へのなりすましといった詐欺は、シンガポールで届け出のあった犯罪の半分を超え、2019年以降の損失は40億シンガポールドルを上回る。
手口も変わった。単純なフィッシングから、もっともらしいやりとりを重ねて相手を信じさせ、最後にお金を求める形へ移り、こうした詐欺が損失の最大8割を占めるようになったという。一通のメールなら見分けられても、何日も続く会話の途中で気づくのは難しい。
汎用の AI モデルは、地域ごとのだまし方を見抜くのが苦手だとブログは書く。そこで Gemma を、公的機関や銀行、地元の有名人へのなりすまし、その地域ではやっている手口などの会話で調整した。学習には、詐欺の届け出や情報提供から作った匿名のデータを使い、個人を特定できる情報は含めていない。調整の作業は、GovTech が管理するクラウド環境の中で行ったとしている。
端末の中で、二段階で見る
詐欺の検知といえば、これまではサーバー側でメッセージを調べるのが一般的だった。今回のモデルは、会話のデータを端末の中で処理する。
ただ、スマートフォンで重いモデルを動かし続ければ電池がもたない。そのため検知は二段階になっている。
- 第1段階: 小さく軽い分類器が、届いたメッセージを少ない電力でふるいにかける
- 第2段階: 怪しいものだけを、調整した Gemma が会話の前後も含めて読み、本当に詐欺か、誤報かを判断する
詐欺らしい会話のパターンを見つけると、端末に警告を出し、お金や大切な情報を渡す前に手を止めるよう促す。
まだ配られていない、同意が前提の仕組み
ただし、これはまだ誰かのスマートフォンに入っているわけではない。どのアプリに、いつ入るかは示されていない。展開はシンガポール政府と組んで段階的に進めるという。
組み込まれたあとも、モデルが会話を読めるのは、使う人が同意したときだけで、そのアプリの利用規約に従う。モデルが端末の中だけで動くため、政府も Google も、これを通じて会話を見ることはできないとしている。
一方で、分かっていないこともある。どのくらいの精度で詐欺を当て、どのくらい普通の会話を詐欺と見誤るのか、数字は出ていない。地域の手口に合わせたことが強みである以上、日本で同じものを使うなら、日本の手口で作り直す必要もあるはずだ。DeepMind は、ほかの国で同様の技術を使う可能性を探るとしている。
確認できる次の点
次に見るのは、Google DeepMind のブログの「Responsibility & Safety」の欄と、GovTech Singapore の発表だ。DeepMind は、シンガポール政府との協力についてさらに知らせることがあるとしており、組み込むアプリの名前と展開の時期、精度の数字が出るかどうかが焦点になる。
ことば
- Gemma — Google が公開している軽量の AI モデル。誰でも入手して自分の用途に合わせて調整でき、スマートフォンのような小さな機器でも動かしやすい大きさに作られている。
- ソーシャルエンジニアリング — 技術の穴ではなく、人の信頼や焦りを突いてだます手口。会話を重ねて相手を信じさせ、送金や暗証番号を引き出す形が増えている。
スマートフォンの中の AI に会話を読ませて詐欺から守ってもらうか、読ませずに自分で見分けるか。あなたはどこまで任せたいだろうか？
