Universität St. Gallen erforscht mediale Debatte über Fehler in KI-Profilierungssystemen

Algorithmische Systeme werden laut den vorliegenden Quellen in öffentlichen Verwaltungen, Schulen, Krankenhäusern und Strafverfolgungsbehörden eingesetzt, um menschliches Verhalten vorherzusagen und Entscheidungen zu treffen, auch in sensiblen Bereichen wie Sozialleistungen und Gesundheit. Diese Systeme stützen sich auf vorhandene, menschengemachte Daten, die von Haus aus fehlerbehaftet sind. Forschende wie Joy Buolamwini (MIT) und Safiya Umoja Noble haben rassistische und sexistische Verzerrungen in Gesichtserkennungstechnologien und Suchalgorithmen nachgewiesen.

Vor diesem Hintergrund sah die Universität St. Gallen Bedarf an systematischer wissenschaftlicher Beobachtung: In einer Welt, in der algorithmisches Profiling von Menschen weit verbreitet ist, fehlte eine strukturierte Kartierung der öffentlichen Debatte über die Fehler solcher Systeme.

Im Jahr 2020 gründete Professorin Veronica Barassi (Professur für Medien- und Kommunikationswissenschaft) an der Universität St. Gallen das „Human Error Project: AI, Human Rights, and the Conflict Over Algorithmic Profiling". Das Projekt untersucht, wie die Debatte rund um das, was die Forschungsgruppe „the human error of AI" nennt, in verschiedenen gesellschaftlichen Bereichen geführt wird.

Konkret analysiert das Team, bestehend aus Barassi, den Postdoktoranden Dr. Antje Scharenberg und Dr. Philip Di Salvo sowie den Forschenden Marie Poux-Berthe und Rahi Patra, die mediale Berichterstattung über algorithmisches Profiling. Der erste öffentliche Bericht des Projekts trägt den Titel „AI Errors and the Profiling of Humans: Mapping the Debate in European News Media".

Das Projekt verwendet den Begriff „the human error of AI" als übergreifendes Konzept, um verschiedene Aspekte algorithmischer Fehler zu beleuchten: Bias, Ungenauigkeit und fehlende Rechenschaftspflicht im Zusammenhang mit der Profilerstellung von Menschen. Methodisch positioniert sich das Team unter jenen Wissenschaftlern, die eine Analyse des „political life of technological errors" und einen qualitativen Ansatz zum Verständnis algorithmischer Fehlfunktionen fordern. Ziel ist es, Diskurse zu kartieren und die Perspektiven betroffener Menschen einzubeziehen.

Inhaltlich geht das Projekt von der Prämisse aus, dass KI-Systeme überwiegend auf westlich geprägten, binären Klassifikationssystemen basieren, die menschliche Erfahrungen vereinfachen und bestehende gesellschaftliche Ungleichheiten reproduzieren und verstärken.

Als erstes konkretes Ergebnis veröffentlichte das Projekt den Bericht „AI Errors and the Profiling of Humans: Mapping the Debate in European News Media". Weitere quantitative Resultate oder Kennzahlen aus diesem Bericht sind in den vorliegenden Quellen nicht belegt.

Das „Human Error Project" der Universität St. Gallen ist ein akademisches Forschungsprojekt, kein kommerzieller KI-Einsatz im engeren Sinne. Die Universität nutzt wissenschaftliche Methoden, um den gesellschaftlichen und medialen Umgang mit KI-Fehlern zu dokumentieren, und positioniert sich damit als kritische Beobachterin der rasanten Verbreitung algorithmischer Systeme in öffentlichen und privaten Bereichen. Der institutionelle Kontext entspricht dem eines universitären Drittmittelprojekts im Bereich Medien- und Kommunikationswissenschaft.