Michael JohnsonAm 14. Oktober stellten Google DeepMind und die staatliche Technologieagentur Singapurs, GovTech, ein gemeinsam entwickeltes Modell vor, das betrügerische Chats direkt auf dem Smartphone erkennen soll. Das System analysiert den Nachrichtenkontext lokal und ist für die Integration in Apps vorgesehen; die Einführung soll schrittweise erfolgen und die Zustimmung der Nutzer erfordern.
Im Zentrum steht ein leichtgewichtiges Gemma-Modell, das auf lokale Betrugsbeispiele abgestimmt wurde. Laut Google DeepMind wurden für das Training anonymisierte Datensätze aus Betrugsmeldungen und Erkenntnissen aus der Aufklärungsarbeit verwendet. Das Unternehmen erklärt, dass die Modellanpassung in einer von GovTech verwalteten Cloud-Umgebung erfolgte und keine personenbezogenen Daten von Bürgern für das Training verwendet wurden.
Zuerst der Filter, dann die Dialoganalyse
Das System arbeitet in zwei Schritten. Ein leichtgewichtiger Klassifikator prüft eingehende Nachrichten rasch und leitet verdächtig wirkende Fälle zur weiteren Analyse weiter. Anschließend untersucht das angepasste Gemma-Modell einen größeren Ausschnitt des Gesprächs, um ein manipulierendes Vorgehen zu erkennen oder einen Fehlalarm auszuräumen. So wird die aufwendigere Analyse auf ausgewählte Fälle konzentriert, wobei der geringe Akkuverbrauch des Smartphones berücksichtigt wird.
Erkennt das Modell manipulative Muster, soll es eine Warnung auf dem Gerät anzeigen und den Nutzer auffordern, innezuhalten, bevor er Geld sendet oder vertrauliche Daten preisgibt. Die Analyse des gesamten Gesprächsverlaufs ist wichtig, weil Betrüger zunächst Vertrauen aufbauen und erst später um eine Überweisung oder einen Code bitten können.
Was lokale Verarbeitung bedeutet
Das Modell soll Nachrichten auf dem Gerät verarbeiten, statt ihren Inhalt zur Prüfung an einen Server zu übertragen. Google DeepMind erklärt, dass nach der Integration in eine App weder das Unternehmen noch die Regierung Singapurs über den Modellbetrieb auf Nachrichten zugreifen können. Der Zugriff auf Chats soll nur mit Zustimmung der Nutzer und gemäß den Bedingungen der jeweiligen App erfolgen.
Eine lokale Analyse kann für Apps mit Ende-zu-Ende-Verschlüsselung nützlich sein: Die Berechnung erfolgt auf dem Gerät des Nutzers, während der Inhalt des Chats nicht zur Prüfung an einen Server gesendet wird. Google DeepMind beschreibt die Integration als künftige Möglichkeit für Apps; konkrete Messenger oder Partner wurden nicht genannt.
Was über den Entwicklungsstand bekannt ist
In ihrer Veröffentlichung vom 14. Oktober berichtet Google DeepMind von Tests mit synthetischen Dialogen und lokalen Datensätzen, die verschiedene Betrugskategorien abdecken. Das Unternehmen beschreibt die künftige Integration als schrittweise Zusammenarbeit mit der Regierung Singapurs. In der Ankündigung werden weder konkrete Apps noch ein Verfügbarkeitsdatum für Nutzer oder Angaben zur Genauigkeit und Häufigkeit von Fehlalarmen genannt.
Bestätigt sind bislang die Architektur und die geplante Einführung, nicht aber eine öffentlich verfügbare Funktion, die sich installieren lässt. Nach der Integration werden die Qualität der Warnungen in echten Chats, die Sprachunterstützung und die Auswirkungen der Analyse auf den Akku zeigen, wie nützlich das System in der Praxis ist. Der vorgestellte Ansatz zeigt, wie ein lokales Modell den Gesprächskontext prüfen kann, während die Nachrichten selbst auf dem Gerät bleiben.