Feinheit analysiert politische KI-Antworten

Während des Schweizer Abstimmungskampfs zur Initiative «Keine 10-Millionen-Schweiz» untersuchten mehrere Akteure, wie generative KI demokratische Information prägt. AlgorithmWatch CH analysierte gemeinsam mit dem Institut für Informatik der Universität Zürich mehr als 170.000 automatisiert generierte Suchanfragen. Die Untersuchung bezog Google und Bing ein und erfasste, wann KI-Übersichten erschienen und welche Quellen sie verwendeten.

Der Kontext war eine politisch polarisierte Abstimmung. KI-Übersichten und Chatbots wurden dabei als Informationsquellen betrachtet, deren Antworten plausibel und autoritativ wirken können. Zugleich war laut den Quellen nicht bekannt, auf welcher Grundlage die Systeme ihre Antworten erzeugen.

Die Zürcher Werbeagentur Feinheit untersuchte im Abstimmungskampf Chatbots und KI-Übersichten. Ihre Auswertung bezog ChatGPT, Google Gemini und die KI-Übersichten von Google ein. Feinheit analysierte dabei, welche Argumente die Systeme zur Initiative «Keine 10-Millionen-Schweiz» hervorhoben.

Nach der im Quellenmaterial wiedergegebenen Auswertung betonten ChatGPT und Google Gemini häufiger Argumente gegen die Initiative. Die Google-KI-Übersichten wurden von Feinheit dagegen als «auf der Seite der Initianten» stehend beschrieben. Die Quellen machen keine Angaben zu den verwendeten Suchanfragen, zur Zahl der getesteten Antworten oder zu einem standardisierten Bewertungsverfahren von Feinheit.

Der dokumentierte Ansatz bestand in der vergleichenden Betrachtung politischer Antworten von Chatbots und KI-Übersichten im Zusammenhang mit einer konkreten Schweizer Abstimmung. Untersucht wurde insbesondere die Richtung der hervorgehobenen Argumente: gegen die Initiative bei ChatGPT und Google Gemini sowie zugunsten der Initianten bei den Google-KI-Übersichten.

Die Untersuchung von Feinheit ist im Quellenmaterial von einer größeren Analyse von AlgorithmWatch CH und der Universität Zürich zu unterscheiden. Diese wertete mehr als 170.000 Suchanfragen aus und stellte fest, dass 43 Prozent der Google-Anfragen eine KI-Übersicht erhielten. Rund ein Drittel der dabei herangezogenen Quellen wurde als ausgewogen eingestuft, insbesondere journalistische Beiträge und Behördenwebseiten. Daraus lässt sich jedoch nicht ableiten, in welche Richtung die KI-Antworten selbst tendierten.

Feinheit kam zu dem Ergebnis, dass ChatGPT und Google Gemini häufiger Argumente gegen die Initiative hervorhoben. Für die Google-KI-Übersichten berichtete die Agentur eine Ausrichtung «auf der Seite der Initianten». Die Quellen nennen kein weiteres quantitatives Ergebnis der Feinheit-Auswertung.

Die parallel dokumentierte Untersuchung von AlgorithmWatch CH und der Universität Zürich zeigte, dass KI-Übersichten bei 43 Prozent der Google-Anfragen erschienen. Sie stellte außerdem fest, dass mehr der verlinkten Quellen die Initiative kritisch sahen. AlgorithmWatch CH betonte jedoch, dass die Haltung der verwendeten Quellen nichts darüber aussagt, welche Schlagseite die jeweilige KI-Übersicht hatte. Eine quantitative Auswertung der Ausgewogenheit einzelner Antworten stand laut Quellen noch aus.

Der Fall betrifft die Darstellung politischer Argumente durch generative KI in der direkten Demokratie der Schweiz. KI-Übersichten listen laut Quellen meist Argumente für und gegen eine Position, können einer Seite aber mehr Erklärung und der anderen nur eine kurze Erwähnung geben. Forschende der Universitäten Maryland und Washington fanden zudem, dass KI-Übersichten besonders auf Nutzende mit geringerer Themenkenntnis oder größerem Vertrauen in KI überzeugend wirken.

Die Quellen ordnen den Einsatz in eine breitere Debatte über Transparenz, Medienvielfalt und die Rolle von Suchmaschinen und Chatbots ein. Sie belegen für Feinheit die Analyse der genannten Systeme und das beschriebene Ergebnis, enthalten aber keine Angaben zu Modellversionen, Testzeitpunkt, Prompt-Design, Stichprobengröße oder Reproduzierbarkeit.