Michael JohnsonGoogle DeepMind a singapurská vládní technologická agentura GovTech představily 14. října společně vyvinutý model pro odhalování podvodných konverzací přímo ve smartphonu. Systém analyzuje kontext zpráv lokálně a je určen k integraci do aplikací; jeho zavádění má probíhat postupně a bude vyžadovat souhlas uživatele.
Základem řešení je lehký model Gemma upravený na místní příklady podvodů. Podle Google DeepMind byly k trénování použity anonymizované soubory dat získané z oznámení o podvodech a zpravodajských informací. Společnost uvádí, že úpravy modelu probíhaly v cloudovém prostředí spravovaném agenturou GovTech a že se při trénování nepoužívaly osobní údaje občanů.
Nejprve filtr, potom analýza konverzace
Systém pracuje ve dvou fázích. Lehký klasifikátor rychle kontroluje příchozí zprávy a dále předává ty, které vypadají podezřele. Upravená Gemma pak analyzuje širší část konverzace, aby rozpoznala manipulativní scénář, případně odvolala falešný poplach. Díky tomuto postupu se náročnější analýza zaměřuje jen na vybrané případy a zároveň zohledňuje potřebu šetřit baterii telefonu.
Pokud model zjistí známky manipulace, měl by na zařízení zobrazit upozornění a doporučit uživateli, aby se zastavil, než odešle peníze nebo prozradí citlivé údaje. Analýza celé konverzace je důležitá proto, že podvodníci mohou nejprve budovat důvěru a teprve později požádat o převod peněz nebo předání kódu.
Co znamená místní zpracování
Model je navržen tak, aby zpracovával konverzaci v zařízení, nikoli aby se její obsah kvůli kontrole odesílal na server. Google DeepMind tvrdí, že po integraci do aplikace nebudou mít společnost ani singapurská vláda prostřednictvím modelu přístup ke zprávám. Přístup ke konverzaci bude poskytován se souhlasem uživatele a podle podmínek konkrétní aplikace.
Místní analýza může být užitečná pro aplikace s koncovým šifrováním: výpočty probíhají v zařízení uživatele, zatímco obsah konverzace se kvůli kontrole neposílá na server. Google DeepMind popisuje integraci jako budoucí možnost pro aplikace; žádné konkrétní chatovací aplikace ani partneři nebyli jmenováni.
Co víme o připravenosti
V příspěvku z 14. října Google DeepMind uvádí, že proběhlo testování na syntetických konverzacích a místních datových souborech pokrývajících různé kategorie podvodů. Společnost popisuje budoucí integraci jako postupnou spolupráci se singapurskou vládou. Oznámení neuvádí konkrétní aplikace, datum zpřístupnění uživatelům ani údaje o přesnosti a četnosti falešných upozornění.
Zatím je potvrzena architektura a směr zavádění, nikoli veřejně dostupná funkce k instalaci. Praktický přínos po integraci pomohou posoudit kvalita upozornění v reálných konverzacích, podpora jazyků a vliv analýzy na výdrž baterie. Popsané řešení ukazuje, jak může místní model kontrolovat kontext konverzace, zatímco samotné zprávy zůstávají v zařízení.