Michael Johnson14. oktober presenterte Google DeepMind og Singapores teknologibyrå GovTech en modell de har utviklet sammen for å oppdage svindelmeldinger direkte på smarttelefonen. Systemet analyserer meldingskonteksten lokalt og er laget for å integreres i apper; utrullingen skal skje gradvis og kreve brukerens samtykke.
Løsningen bygger på en lett Gemma-modell som er tilpasset lokale eksempler på svindel. Ifølge Google DeepMind brukte de anonymiserte datasett fra svindelrapporter og etterretningsinformasjon i treningen. Selskapet opplyser at tilpasningen av modellen foregikk i et kontrollert skymiljø administrert av GovTech, og at innbyggernes personopplysninger ikke ble brukt i treningen.
Først et filter, deretter analyse av samtalen
Systemet arbeider i to trinn. En lett klassifikator sjekker raskt innkommende meldinger og sender videre dem som virker mistenkelige. Deretter analyserer den tilpassede Gemma en større del av samtalen for å oppdage manipulerende framgangsmåter eller avkrefte falske alarmer. Denne løsningen retter den mer krevende analysen mot utvalgte tilfeller, samtidig som den tar hensyn til behovet for å spare batteri.
Hvis modellen oppdager manipulerende mønstre, skal den vise et varsel på enheten og foreslå at brukeren stopper opp før vedkommende sender penger eller deler sensitive opplysninger. Det er nødvendig å analysere hele samtaleforløpet fordi svindlere kan bruke tid på å bygge tillit før de senere ber om en pengeoverføring eller en kode.
Hva lokal behandling innebærer
Modellen er laget for å behandle samtaler på enheten, i stedet for å sende innholdet til en server for kontroll. Google DeepMind opplyser at verken selskapet eller Singapore-regjeringen vil kunne få tilgang til meldingene gjennom modellen når den er integrert i en app. Tilgang til samtaler vil kreve brukerens samtykke og være underlagt vilkårene i den enkelte appen.
Lokal analyse kan være nyttig for apper med ende-til-ende-kryptering: Beregningene skjer på brukerens enhet, mens innholdet i samtalen ikke sendes til en server for kontroll. Google DeepMind beskriver integrering som en framtidig mulighet for apper; ingen bestemte meldingstjenester eller partnere er navngitt.
Hva vi vet om hvor klart systemet er
I innlegget fra 14. oktober forteller Google DeepMind om tester med syntetiske samtaler og lokale datasett som dekker ulike typer svindel. Selskapet beskriver framtidig integrering som et trinnvis arbeid sammen med Singapore-regjeringen. Kunngjøringen oppgir ikke bestemte apper, en dato for når løsningen blir tilgjengelig for brukere eller tall for nøyaktighet og falske varsler.
Foreløpig er det arkitekturen og planene for innføring som er bekreftet, ikke en offentlig tilgjengelig funksjon som kan installeres. Når løsningen er integrert, vil nytten i praksis avhenge av hvor gode varslene er i ekte samtaler, hvilke språk som støttes, og hvordan analysen påvirker batteriet. Den beskrevne løsningen viser hvordan en lokal modell kan kontrollere samtalekonteksten uten at selve meldingene forlater enheten.