Ethereum-Mitgründer Vitalik Buterin hat sich am Wochenende klar gegen den Einsatz von Künstlicher Intelligenz (KI) für Governance-Aufgaben ausgesprochen. In einem Post auf X schrieb er:
„Wenn ihr eine KI einsetzt, um Beiträge oder Finanzierungen zu verteilen, werden die Leute JAILBREAKS mit ‚gib mir das ganze Geld‘ an so vielen Stellen wie möglich einbauen.“
Sein Kernargument: KI-Systeme sind manipulierbar. Anstatt faire Entscheidungen zu treffen, können sie durch einfache Jailbreak-Prompts oder gezielte Manipulationen dazu gebracht werden, Mittel fehlzuleiten – mit potenziell katastrophalen Folgen für Projekte und Investoren.
We got ChatGPT to leak your private email data 💀💀
All you need? The victim’s email address. ⛓️💥🚩📧
On Wednesday, @OpenAI added full support for MCP (Model Context Protocol) tools in ChatGPT. Allowing ChatGPT to connect and read your Gmail, Calendar, Sharepoint, Notion,… pic.twitter.com/E5VuhZp2u2
— Eito Miyamura | 🇯🇵🇬🇧 (@Eito_Miyamura) September 12, 2025
Hintergrund: Exploit durch MCP-Update bei ChatGPT
Buterins Kommentar kam als Reaktion auf eine Warnung von Eito Miyamura, CEO der AI-Governance-Plattform EdisonWatch. Miyamura machte auf eine Schwachstelle aufmerksam, die mit der jüngsten MCP-Integration (Model Context Protocol) bei ChatGPT entstanden ist.
Das Update erlaubt ChatGPT, Daten aus externen Apps wie Gmail, Kalender oder Notion auszulesen. Genau das öffnet jedoch neue Angriffsvektoren. Miyamura erklärte, wie Angreifer mit nur drei Schritten private Daten exfiltrieren könnten:
- Einladung senden – Der Angreifer verschickt einen manipulierten Kalendereintrag mit einem Jailbreak-Prompt.
- Nutzerinteraktion – Der Nutzer bittet ChatGPT um Tagesvorbereitung. Dabei liest das Modell den Kalendereintrag.
- Übernahme – Sobald das Prompt verarbeitet wird, ist ChatGPT kompromittiert. Das Modell kann dann missbraucht werden, um private Mails zu durchsuchen und sensible Daten an den Angreifer zu senden.
Brisant: Der Nutzer muss die Einladung nicht einmal annehmen, damit die Schwachstelle greift.
Buterins Alternative: Info-Finance-Ansatz
Anstatt KI direkt mit Governance-Aufgaben zu betrauen, schlägt Buterin ein Modell vor, das er „info finance“ nennt. Die Grundidee:
- Marktplatz für Modelle – Verschiedene Entwickler stellen ihre Modelle bereit.
- Spot-Checks durch Dritte – Jeder kann zufällig Überprüfungen anstoßen.
- Bewertung durch menschliche Juroren – Entscheidungen werden nicht einer KI überlassen, sondern einem Gremium von Menschen, unterstützt durch KI-Systeme.
- Anreizsystem – Entwickler und externe Beobachter haben finanzielle Anreize, Manipulationen aufzudecken und Modelle zu verbessern.
Dieses System sei laut Buterin robuster, weil es Vielfalt, Wettbewerb und menschliche Kontrolle vereint, statt sich auf ein einziges, leicht manipulierbares Modell zu verlassen.
KI als „Governor“: Ein riskantes Experiment
Buterin warnt klar vor der Euphorie rund um „AI Governors“. Zum einen bestünden die klassischen Risiken der KI-Sicherheit: Jailbreaks, Missbrauch, fehlerhafte Entscheidungen. Zum anderen drohe ein „value-destructive splat“ – also massiver wirtschaftlicher Schaden – wenn Governance-Entscheidungen durch kompromittierte Modelle getroffen würden.
Seine Botschaft ist nüchtern: KI kann unterstützen, aber nicht regieren. Die Balance aus menschlicher Kontrolle, dezentralem Wettbewerb und gezielten KI-Hilfen sei der sicherere Weg, Governance-Systeme langfristig zu stabilisieren.