Michael JohnsonDen 14 oktober presenterade Google DeepMind och Singapores statliga teknikmyndighet GovTech en gemensamt utvecklad modell för att upptäcka bedrägerier i chattar direkt på smarttelefonen. Systemet analyserar meddelandenas sammanhang lokalt och är utformat för att integreras i appar; utrullningen ska ske stegvis och kräver användarens samtycke.
Lösningen bygger på en Gemma-modell som anpassats med lokala exempel på bedrägerier. Enligt Google DeepMind användes anonymiserade datamängder från bedrägerirapporter och underrättelseinformation vid träningen. Företaget uppger att modellens anpassning skedde i en molnmiljö som GovTech kontrollerade och att medborgarnas personuppgifter inte användes för träningen.
Först ett filter, sedan analys av dialogen
Systemet arbetar i två steg. En lättviktig klassificerare granskar inkommande meddelanden snabbt och skickar vidare dem som verkar misstänkta. Därefter analyserar den anpassade Gemma ett större utdrag av konversationen för att identifiera ett manipulativt upplägg eller avfärda ett falsklarm. På så sätt används den mer omfattande analysen på utvalda fall, samtidigt som hänsyn tas till vikten av att spara telefonens batteri.
Om modellen upptäcker manipulerande mönster ska den visa en varning på enheten och uppmana användaren att stanna upp innan hen skickar pengar eller lämnar ut känsliga uppgifter. Analys av hela samtalet behövs eftersom bedragare kan börja med att bygga upp förtroende och först senare be om en överföring eller en kod.
Vad lokal behandling innebär
Modellen är avsedd att behandla konversationer på enheten, i stället för att skicka innehållet till en server för kontroll. Google DeepMind uppger att varken företaget eller Singapores regering kommer att kunna komma åt meddelanden genom modellens funktion efter att den integrerats i en app. Åtkomst till konversationer ska ges med användarens samtycke och enligt villkoren för den aktuella appen.
Lokal analys kan vara användbar för appar med totalsträckskryptering: beräkningen sker på användarens enhet, medan konversationens innehåll inte skickas till en server för kontroll. Google DeepMind beskriver integrationen som en framtida möjlighet för appar; inga specifika meddelandetjänster eller partner har namngivits.
Vad som är känt om beredskapen
I sin publicering den 14 oktober uppger Google DeepMind att tester genomförts med syntetiska dialoger och lokala datamängder som täcker olika typer av bedrägerier. Företaget beskriver den framtida integrationen som ett stegvis arbete tillsammans med Singapores regering. I tillkännagivandet nämns inga specifika appar, datum för användartillgång eller uppgifter om träffsäkerhet och frekvensen av falska varningar.
Hittills har arkitekturen och den planerade inriktningen bekräftats, men inte en allmänt tillgänglig funktion som går att installera. När integrationen väl är på plats blir kvaliteten på varningarna i verkliga konversationer, språkstödet och påverkan på batteritiden viktiga mått på den praktiska nyttan. Den beskrivna lösningen visar hur en lokal modell kan kontrollera sammanhanget i en dialog samtidigt som själva meddelandena stannar på enheten.