Clickandstop.ch: Meldeplattform für KI-generierte Deepfake-Missbrauchsfälle in der Schweiz

Der Einsatz von KI-Werkzeugen zur Erstellung täuschend echter gefälschter Bild-, Video- und Audioinhalte, sogenannter Deepfakes, hat in der Schweiz wie weltweit stark zugenommen. Besonders gravierend ist der Missbrauch im Bereich sexualisierter Darstellungen: Sogenannte „Nudifier"-Apps generieren Nacktbilder von Personen, darunter auch von Minderjährigen. Laut Clickandstop.ch melden sich „immer mehr Menschen, weil Nacktfotos von ihnen mithilfe von KI erstellt und verbreitet wurden".

Auch technisch manipulierte Videos stellen ein wachsendes Problem dar. Ein Schweizer Präzedenzfall illustriert dies konkret: Ein Mann veränderte ein Pornografievideo mit einem technischen Filter so, dass die volljährige Darstellerin vorpubertär wirkte, und verbreitete es über Instagram. Das Bezirksgericht Zürich verurteilte ihn 2023 wegen harter Pornografie; das Bundesgericht bestätigte das Urteil 2024 und stellte klar, dass digital verjüngte Erwachsene als „Scheinminderjährige" unter das Verbot „nicht tatsächlicher" Kinderpornografie fallen.

Auf globaler Ebene dokumentierte die Internet Watch Foundation (IWF) im selben Jahr mehr als 3.400 KI-generierte Videos mit sexuellem Kindesmissbrauch, mehr als 260-mal so viele wie im Vorjahr.

Clickandstop.ch fungiert als nationale Kontaktstelle in der Schweiz für die anonyme Meldung illegaler Online-Inhalte, insbesondere kinderpornografischer Darstellungen und KI-generierter Deepfake-Missbrauchsmaterialien. Die Plattform wurde in Zusammenarbeit mit der Guido Fluri Stiftung und dem Bundesamt für Polizei (fedpol) entwickelt.

Neben der reinen Meldefunktion bietet Clickandstop.ch Beratung und Prävention über Telefon- und Chat-Dienste an, auch für Minderjährige, die selbst betroffen sind, sowie für Personen, die Missbrauch an Kindern beobachten.

Die Plattform nimmt anonyme Meldungen zu illegalem Online-Material entgegen und leitet diese weiter. Über die technische Verarbeitung der Meldungen oder eingesetzte KI-Erkennungsverfahren auf Plattformseite machen die vorliegenden Quellen keine konkreten Angaben.

Der gesellschaftliche Kontext, in dem Clickandstop.ch operiert, wird von Kinderschutz Schweiz beschrieben: Die Organisation warnt, dass „digitale sexuelle Gewalt immer mehr Minderjährige betrifft", und unterstützt die Plattform aktiv. Zudem setzt sich Kinderschutz Schweiz für einen schärferen rechtlichen Rahmen ein, unter anderem durch die Petition „Deepfakes und digitale Gewalt", adressiert an Bundesrat Beat Jans.

Seit dem Start im Jahr 2022 wurden clickandstop.ch insgesamt 9.697 URLs mit kinderpornografischen Inhalten gemeldet. Im Jahr 2024 verzeichnete die Plattform einen Anstieg der gemeldeten Fälle um 63 %. Die Plattform selbst führt diesen Anstieg unter anderem auf die zunehmende Verbreitung KI-generierter Missbrauchsinhalte zurück.

Clickandstop.ch steht exemplarisch für einen meldebasierten Ansatz im Umgang mit KI-generiertem Missbrauchsmaterial: Die Plattform kanalisiert Hinweise aus der Bevölkerung und schafft eine niedrigschwellige Anlaufstelle, ohne selbst als Strafverfolgungsbehörde zu agieren.

Der rechtliche Rahmen in der Schweiz ist indes noch im Wandel. Das Schweizer Parlament lehnte 2024 zunächst eine Motion zur gesetzlichen Verankerung der Deepfake-Bekämpfung ab, nahm anschliessend jedoch eine zweite Motion an, die speziell auf sexualisierte Deepfakes abzielt und KI-Plattformen zur Risikobewertung und zu Schutzmaßnahmen verpflichten soll. Bundesrat Albert Rösti hatte früher erklärt, das bestehende Straf- und Zivilrecht reiche aus; Rechtsexperte David Vasella (Walder Wyss) warnte seinerseits vor neuen Überschneidungen im Regelwerk und plädierte stattdessen für eine stärkere Ressourcenausstattung bestehender Aufsichtsbehörden.

Die Arbeit von Clickandstop.ch wird vor diesem Hintergrund von Kinderschutz Schweiz als unzureichend abgedeckt durch aktuelle gesetzliche Maßnahmen bewertet, die Organisation fordert dringend weitergehende politische Schritte.