EPFL entwickelt offene KI-Basismodelle und gehirninspiriertes Sprachmodell MiCRo

Foundation Models, große KI-Basismodelle, werden zunehmend von kommerziellen Technologiekonzernen entwickelt und kontrolliert. Akademische Institutionen sehen sich in der Gefahr, den Einfluss auf die technologische Entwicklung und deren gesellschaftliche Ausrichtung zu verlieren. Das Schweizer Pendant dazu ist das Swiss National AI Institute (SNAI), das gemeinsam von ETH Zürich und EPFL geleitet wird.

EPFL ist als Co-Leiterin des SNAI direkt an der Entwicklung offener Basismodelle beteiligt. Im Januar 2026 unterzeichneten SNAI und das Stanford Institute for Human-Centered AI (Stanford HAI) am Rande des Weltwirtschaftsforums in Davos ein Memorandum of Understanding. Dieses legt einen Rahmen für langfristige Zusammenarbeit in KI-Forschung und -Ausbildung fest, mit dem erklärten Ziel, quelloffene, multimodale Foundation Models zu entwickeln, die Transparenz, Verlässlichkeit und breiten Zugang fördern sollen.

Stéphanie Lacour, Vizepräsidentin der EPFL für strategische Initiativen, beschreibt das Vorhaben als Grundlage für „ein transatlantisches Forschungsökosystem, das offen, inklusiv und in der Lage ist, die Zukunft der KI jenseits kommerzieller Interessen zu gestalten."

Parallel dazu hat ein EPFL-Forschungsteam das Sprachmodell MiCRo (Mixture of Cognitive Reasoners) entwickelt und auf der International Conference on Learning Representations präsentiert. MiCRo wurde vom NLP Lab und dem NeuroAI Lab innerhalb der School of Computer and Communication Sciences und der School of Life Sciences erarbeitet.

MiCRo unterscheidet sich strukturell von herkömmlichen großen Sprachmodellen. Statt eines einheitlichen Modells, das Muster aus Trainingsdaten abgleicht, ist MiCRo in vier spezialisierte Module unterteilt, die Hirnregionen nachempfunden sind: Sprache, Logik, soziales Schlussfolgern und Weltwissen. Innerhalb jeder Modellschicht entscheidet ein sogenannter Router, welcher Experte für welches Wort eines Satzes zuständig ist, ein einzelner Satz kann also gleichzeitig von mehreren Modulen verarbeitet werden.

Dieses Design erlaubt es, die Verarbeitungsschritte nachzuvollziehen und gezielt zu beeinflussen: Nutzer können einzelne Experten direkt in der Architektur verstärken oder abschwächen, ohne auf Prompting angewiesen zu sein. Beispiel aus der Forschungsarbeit: Bei einem Prompt, der Arithmetik und soziale Nuancen kombiniert, etwa das Aufteilen einer Restaurantrechnung unter Berücksichtigung der finanziellen Lage einer befreundeten Person, leitet der Router die Zahlen an das Logikmodul und die sozialen Hinweise an das Modul für soziales Schlussfolgern weiter.

Die Entwicklung wurde von Doktorand Badr AlKhamissi geleitet, in Zusammenarbeit mit der Neurowissenschaftlerin Greta Tuckute von Harvard und MIT. Das Team verwendete Methoden zur Kartierung menschlicher Hirnaktivität, um die Expertenmodule des Modells zu identifizieren. Die Forschenden beschreiben dabei einen „Tugendkreis": Neurowissenschaft informiert die KI-Entwicklung, während KI-Modelle ihrerseits dazu beitragen können, die Funktion verschiedener Hirnregionen besser zu verstehen.

Im Rahmen des Stanford-SNAI-MoU ist darüber hinaus die Entwicklung von Benchmarks und Evaluierungsrahmen für Foundation Models vorgesehen, als Grundlage für Vergleichbarkeit, Rechenschaftspflicht und verantwortungsvolle Nutzung.

MiCRo wurde auf der International Conference on Learning Representations präsentiert. Zu quantitativen Leistungsvergleichen mit anderen Modellen liefern die vorliegenden Quellen keine belegten Zahlen.

Das MoU zwischen SNAI und Stanford HAI definiert gemeinsame Initiativen in Forschung, Ausbildung und Innovation, darunter gemeinsame Workshops, Forschungsaustausche und geteilte Rechenressourcen. Konkrete Modellveröffentlichungen oder messbare Ergebnisse aus dieser Kooperation sind in den vorliegenden Quellen nicht dokumentiert.

EPFL positioniert sich mit diesen Initiativen als akademische Gegenspielerin zu kommerziell getriebener KI-Entwicklung. Der Fokus auf Offenheit, gesellschaftliche Werte und Nachvollziehbarkeit steht im Kontrast zu proprietären Modellen großer Technologieunternehmen. MiCRo adressiert dabei ein konkretes technisches Problem, die mangelnde Interpretierbarkeit von Sprachmodellen, während das SNAI-Stanford-Abkommen die institutionelle Dimension dieser Ausrichtung betont: akademische Führung in einem Feld, das laut den beteiligten Institutionen zunehmend von kommerziellen Interessen geprägt wird.