Michael Johnson10月14日、Google DeepMindとシンガポール政府の技術機関GovTechは、スマートフォン上で詐欺メッセージを検出する共同開発モデルを発表しました。システムはメッセージの文脈を端末内で分析し、アプリへの組み込みを想定しています。導入は段階的に進められ、ユーザーの同意が必要です。
この仕組みの基盤は、地域の詐欺事例に合わせて調整された軽量モデルGemmaです。Google DeepMindの説明によると、訓練には詐欺の報告や情報資料から得た匿名化データセットが使われました。同社は、GovTechが管理するクラウド環境でモデルを調整し、市民の個人データは訓練に使っていないとしています。
まず選別し、その後に会話を分析
システムは2段階で動作します。軽量分類器が受信メッセージをすばやく確認し、疑わしいものを次の段階に回します。続いて調整済みのGemmaが、より広い範囲の会話を分析し、操作的な手口を見分けたり、誤警告を取り消したりします。この方式では、複雑な分析を選別されたケースに絞り、スマートフォンのバッテリー消費を抑えます。
モデルが操作的なパターンを検出すると、端末上に警告を表示し、送金や機密情報の開示をする前に立ち止まるよう促す想定です。詐欺師はまず信頼関係を築き、後になって送金や認証コードを求める場合があるため、会話全体の分析が必要です。
端末内処理の意味
このモデルは、確認のために会話の内容をサーバーへ送信するのではなく、端末上で処理するよう設計されています。Google DeepMindによると、アプリに統合された後も、同社やシンガポール政府がモデルの動作を通じてメッセージにアクセスすることはできません。会話へのアクセスはユーザーの同意を得たうえで、各アプリの条件に従って行われます。
端末内分析は、エンドツーエンド暗号化を採用するアプリにも役立つ可能性があります。計算はユーザーの端末で行われ、会話の内容は検査のためにサーバーへ送信されません。Google DeepMindはアプリへの統合を将来的な選択肢として説明していますが、具体的なメッセンジャーや提携先は明らかにしていません。
現時点で分かっていること
10月14日の発表でGoogle DeepMindは、さまざまな詐欺の種類を網羅する合成会話と地域のデータセットを使って試験を行ったと説明しています。同社は、シンガポール政府と連携して段階的に統合を進める方針です。発表では、具体的なアプリ、ユーザー向け提供開始日、精度や誤警告の頻度は示されていません。
現時点で確認できるのは、アーキテクチャと導入の方向性であり、誰でも利用できるインストール可能な機能ではありません。統合後は、実際の会話での警告の質、対応言語、分析によるバッテリーへの影響が、実用性を判断する材料になります。発表された方式は、メッセージ自体を端末内に保ちながら、ローカルモデルが会話の文脈を確認できることを示しています。