Michael JohnsonOp 14 oktober presenteerden Google DeepMind en het Singaporese technologieagentschap GovTech een gezamenlijk ontwikkeld model om oplichtingsgesprekken rechtstreeks op smartphones op te sporen. Het systeem analyseert de context van berichten lokaal en is bedoeld voor integratie in apps; de invoering zal geleidelijk verlopen en vereist toestemming van de gebruiker.
De oplossing is gebaseerd op een lichte Gemma-model, aangepast aan lokale voorbeelden van oplichting. Volgens Google DeepMind werden voor de training geanonimiseerde datasets gebruikt, samengesteld uit meldingen van oplichting en inlichtingeninformatie. Het bedrijf meldt dat de modelaanpassing plaatsvond in een door GovTech beheerde cloudomgeving en dat de persoonsgegevens van burgers niet voor de training zijn gebruikt.
Eerst een filter, daarna analyse van het gesprek
Het systeem werkt in twee stappen. Een lichte classifier controleert inkomende berichten snel en stuurt berichten die verdacht lijken door. Vervolgens analyseert de aangepaste Gemma een groter deel van het gesprek om een manipulatief scenario te herkennen of een vals alarm weg te nemen. Zo wordt de complexere analyse gericht op geselecteerde gevallen, waarbij rekening wordt gehouden met het belang van een laag batterijverbruik.
Als het model manipulatieve patronen ontdekt, moet het een waarschuwing op het apparaat tonen en de gebruiker aanraden even te stoppen voordat die geld overmaakt of gevoelige gegevens deelt. Analyse van het volledige gesprek is nodig omdat oplichters eerst vertrouwen kunnen opbouwen en pas later om een overschrijving of code kunnen vragen.
Wat lokale verwerking inhoudt
Het model is ontworpen om gesprekken op het apparaat te verwerken, in plaats van de inhoud ervan naar een server te sturen voor controle. Google DeepMind stelt dat na integratie in een app noch het bedrijf noch de Singaporese overheid via het model toegang kan krijgen tot berichten. Toegang tot gesprekken wordt verleend met toestemming van de gebruiker en onder de voorwaarden van de betreffende app.
Lokale analyse kan nuttig zijn voor apps met end-to-endencryptie: de berekening vindt plaats op het apparaat van de gebruiker, terwijl de inhoud van gesprekken niet naar een server wordt gestuurd om te worden gecontroleerd. Google DeepMind beschrijft integratie als een toekomstige mogelijkheid voor apps; specifieke chatapps of partners zijn niet genoemd.
Wat bekend is over de gereedheid
In de publicatie van 14 oktober meldt Google DeepMind tests met synthetische gesprekken en lokale datasets die verschillende soorten oplichting omvatten. Het bedrijf omschrijft de toekomstige integratie als een geleidelijk traject samen met de Singaporese overheid. De aankondiging noemt geen specifieke apps, datum waarop de functie beschikbaar komt voor gebruikers, of cijfers over nauwkeurigheid en het aantal valse waarschuwingen.
Vooralsnog zijn de architectuur en de voorgenomen invoering bevestigd, maar niet een voor iedereen beschikbare functie die gebruikers kunnen installeren. Na integratie zal de praktische waarde blijken uit de kwaliteit van waarschuwingen bij echte gesprekken, de taalondersteuning en de invloed van de analyse op de batterijduur. De beschreven aanpak laat zien hoe een lokaal model de context van een gesprek kan controleren terwijl de berichten zelf op het apparaat blijven.