On-Device-KI gegen Betrugsversuche auf Android

GovTech Singapore entwickelt gemeinsam mit Google DeepMind ein KI-Modell zur Erkennung von Betrugsversuchen auf Android-Mobiltelefonen. Das Projekt wurde laut Quelle am 14. Oktober am Rande der Internationalen Cybersicherheitswoche Singapurs angekündigt. Ziel ist, Hinweise auf psychologische Manipulation oder Nötigung in Nachrichten früh zu erkennen, bevor Nutzende persönliche Informationen preisgeben oder Geld überweisen.

Der Ansatz richtet sich gegen lokal angepasste Betrugsmaschen. Die Quellen nennen unter anderem die Vortäuschung einer Identität als Regierungsbeamter, Bankangestellter oder Mitarbeiter eines Finanzinstituts. Allgemeine Modelle hätten Schwierigkeiten mit lokalen Täuschungstechniken und damit bei der Unterscheidung zwischen harmloser Kommunikation und Manipulation.

GovTech Singapore arbeitet mit Google DeepMind an einem Modell, das Inhalte von Nachrichtenaustauschen in Messaging-Apps wie WhatsApp und Telegram analysiert. Es soll Betrugsversuche in Echtzeit erkennen und bei verdächtigen Aktivitäten direkt auf dem Smartphone warnen. Die Warnung rät Nutzenden, keine sensiblen Daten preiszugeben und keine Geldüberweisungen vorzunehmen.

Die Bereitstellung innerhalb von Anwendungen soll schrittweise und in Partnerschaft mit der Regierung Singapurs erfolgen. Ein offizielles Veröffentlichungsdatum wurde laut Quelle bislang nicht bekannt gegeben. Ebenso ist nicht bekannt, ob die Technologie standardmäßig in Android integriert wird.

Als Grundlage dient Googles leichtgewichtiges Gemma-Modell, das mit lokalen Betrugsgesprächen nachtrainiert wurde. Das Trainingsmaterial umfasste laut Quelle Imitationen öffentlicher Institutionen, Banken und lokaler Personen sowie regional verbreitete Betrugsmuster. In einer ersten Entwicklungsphase wurde das Modell zudem mit anonymisierten Daten aus Betrugsmeldungen und Informationen zur Bekämpfung von Cyberkriminalität trainiert. Simulierte Gespräche bildeten die in Singapur übliche Sprache und Kommunikationsweise nach.

Die Analyse erfolgt direkt auf dem Gerät. Damit unterscheidet sich der Ansatz von einer serverseitigen Prüfung von Nachrichten in der Cloud. Das Modell verarbeitet Gesprächsdaten auf dem Mobiltelefon und soll dadurch Kommunikationsmuster schneller auf manipulative Absichten prüfen. Weder die Regierung Singapurs noch Google sollen über die Bereitstellung des Modells Zugriff auf Gespräche der Nutzenden erhalten.

Der Zugriff des Modells auf Gespräche auf dem Gerät ist an die Einwilligung der Nutzenden gebunden und erfolgt gemäß den Nutzungsbedingungen der jeweiligen Anwendung. Google zufolge soll das Modell fortlaufend aktualisiert werden, um neue Betrugsmaschen zu erfassen und die Unterscheidung zwischen normalen Gesprächen und manipulativem Verhalten zu verbessern.

Für den Einsatz des Modells nennt das vorliegende Material keine Kennzahlen zur Erkennungsrate, zu verhinderten Schäden oder zur Zahl gewarnter Nutzender. Belegt ist, dass sich das Projekt in Entwicklung befindet und die Einführung in Anwendungen schrittweise erfolgen soll.

Der Fall verbindet Betrugserkennung mit einer On-Device-Verarbeitung: Gesprächsinhalte sollen nicht zur Analyse an einen Server übertragen werden. Gleichzeitig ist der Anwendungsbereich auf lokale Betrugsformen ausgerichtet. Der Fokus liegt damit auf der Erkennung manipulativer Kommunikation in Messaging-Anwendungen unter einer zustimmungsbasierten Zugriffsvorgabe.