Exodus der KI-Elite: Sicherheitsbedenken treiben Forscher aus Top-Labs

In den letzten zwei Jahren hat sich in der Welt der Künstlichen Intelligenz (KI) eine neue Form des öffentlichen Protests etabliert: der KI-Rücktrittsbrief. Prominente Forscher nutzen Plattformen wie X und Substack, um ihre Bedenken über die Entwicklung der Branche zu äußern, was jedes Mal zu einem Ereignis wird, das nach tieferer Bedeutung durchsucht wird. Das Gesamtbild, das sich aus diesen Erklärungen ergibt, ist oft düster.

Diese Briefe, von denen einige möglicherweise durch Vertraulichkeitsvereinbarungen gebunden sind, geben Einblicke, wie führende Köpfe der KI-Branche ihre eigene Rolle und die Entwicklung ihres Feldes sehen. Sie offenbaren tiefe Bindungen der Forscher an ihre Arbeit und Kollegen, aber auch wiederkehrende Spannungen innerhalb der Top-KI-Labore.

Eine neue Form des Protests: Die KI-Rücktrittsbriefe

Normalerweise schaffen es Unternehmensrücktritte selten in die Nachrichten, es sei denn, es handelt sich um die höchsten Führungsebenen. Doch in der KI-Branche haben öffentliche Erklärungen von Forschern, die ihre Posten bei führenden Unternehmen wie OpenAI und Anthropic aufgeben, eine neue literarische Form geschaffen. Diese "Warum ich kündige"-Briefe werden zu wichtigen Artefakten, die die Sorgen und Hoffnungen der KI-Elite widerspiegeln.

Das Phänomen der KI-Rücktrittsbriefe hat sich in den letzten zwei Jahren verstärkt. Sie bieten eine einzigartige Perspektive auf die internen Dynamiken und ethischen Dilemmata, die die Entwicklung von Spitzentechnologien prägen.

Prominente Abgänge und ihre Warnungen

Die jüngste Welle von Rücktritten umfasste Forscher von xAI und einen Meinungsartikel in der New York Times von einer scheidenden OpenAI-Forscherin. Besonders ungewöhnlich war der Fall von Mrinank Sharma, der vor einem Jahr die Leitung des Safeguards Research Teams bei Anthropic übernahm und nun seinen Abschied bekannt gab. In einem 778 Wörter langen Brief auf X zitierte er Dichter wie Rainer Maria Rilke und Mary Oliver.

Sharma äußerte sich zur KI-Sicherheit, seinen Erfahrungen mit "KI-assistiertem Bioterrorismus" und der "Polykrise" unserer Gesellschaft. Er warnte: "Wir scheinen uns einem Schwellenwert zu nähern, an dem unsere Weisheit im gleichen Maße wachsen muss wie unsere Fähigkeit, die Welt zu beeinflussen, damit wir nicht die Konsequenzen tragen müssen." Er betonte, wie schwer es sei, "unsere Werte wirklich unser Handeln bestimmen zu lassen." Sein letztes Projekt bei Anthropic befasste sich damit, "zu verstehen, wie KI-Assistenten uns weniger menschlich machen oder unsere Menschlichkeit verzerren könnten."

Weitere prominente Stimmen haben sich geäußert:

• Miles Brundage, der 2024 aus dem AGI-Bereitschaftsteam von OpenAI ausschied, schrieb: "Weder OpenAI noch irgendein anderes Frontier-Labor ist bereit, und die Welt ist auch nicht bereit" für AGI. Er leitet nun das KI-Forschungsinstitut AVERI.
• Dylan Scandinaro, der von Anthropic zu OpenAI als Head of Preparedness wechselte, schrieb auf LinkedIn: "KI schreitet schnell voran. Die potenziellen Vorteile sind groß – und ebenso die Risiken extremer und sogar irreparabler Schäden."
• Daniel Kokotajlo, der ebenfalls OpenAI verließ, sagte, die Systeme von OpenAI "könnten das Beste sein, was der Menschheit je widerfahren ist, aber es könnte auch das Schlimmste sein, wenn wir nicht mit Sorgfalt vorgehen."

Interne Spannungen und der Wettlauf um AGI

Die Rücktrittserklärungen legen wiederkehrende Spannungen in den Top-KI-Laboren offen. Es gibt einen intensiven Wettbewerb um Ressourcen zwischen Forschungs- und Sicherheitsteams und den Teams, die an kundenorientierten KI-Produkten arbeiten. Oftmals besteht der Druck, Produkte ohne angemessene Tests oder etablierte Schutzmaßnahmen auf den Markt zu bringen, ohne zu wissen, was passieren könnte, wenn ein System außer Kontrolle gerät.

Viele der Personen, die öffentlich KI-Unternehmen verlassen haben, arbeiten im Bereich Sicherheit und "Alignment", einem Feld, das sicherstellen soll, dass die KI-Fähigkeiten mit den menschlichen Bedürfnissen und dem Wohlergehen übereinstimmen. Obwohl viele von ihnen optimistisch bezüglich KI und sogar AGI sind, befürchten sie, dass finanzieller Druck die Schutzmaßnahmen untergräbt.

OpenAI im Fokus: Führungskrisen und Kurswechsel

OpenAI, das Startup, das als Epizentrum der KI-Rücktrittsbriefe gilt, hat in den letzten zwei Jahren zahlreiche Abgänge wichtiger Persönlichkeiten erlebt. Dazu gehören Top-Führungskräfte und sicherheitsorientierte Forscher. Einige traten zurück, andere wurden entlassen oder in der Presse als "hinausgedrängt" beschrieben. Allein in der ersten Hälfte des Jahres 2024 verließen sieben Personen das Unternehmen in kurzer Zeit.

Am 17. November 2023 wurde Sam Altman, CEO von OpenAI, vom Verwaltungsrat entlassen, da er angeblich "nicht durchweg offen in seiner Kommunikation mit dem Vorstand" gewesen sei. Weniger als eine Woche später wurde er wieder eingesetzt und konsolidierte seine Macht, woraufhin der Exodus begann.

Am 14. Mai 2024 kündigte OpenAI-Mitbegründer Ilya Sutskever seinen Rücktritt an. Er wurde als Leiter des Superalignment-Teams von John Schulman, einem weiteren Mitbegründer, ersetzt. Wenige Monate später verließ Schulman OpenAI in Richtung Anthropic und wechselte sechs Monate später zum Thinking Machines Lab, einem KI-Startup, das von der ehemaligen OpenAI-CTO Mira Murati gegründet wurde.

Einen Tag nach Sutskever verließ auch Jan Leike, der ebenfalls an der Alignment-Arbeit von OpenAI beteiligt war, das Unternehmen. Er schrieb auf X, dass OpenAI "eine enorme Verantwortung im Namen der gesamten Menschheit trägt", aber die "Sicherheitskultur und -prozesse des Unternehmens hinter glänzenden Produkten zurückgetreten sind." Leike forderte, dass OpenAI "ein sicherheitsorientiertes AGI-Unternehmen werden muss." Weniger als zwei Wochen später wurde Leike von Anthropic eingestellt.

Die Entscheidung von OpenAI, Anzeigen in ChatGPT zu integrieren, führte ebenfalls zu einem Rücktritt. Die Forscherin Zoë Hitzig kündigte und veröffentlichte einen Rücktrittsbrief in der Times. Sie warnte vor den potenziellen Auswirkungen von Anzeigen, die Teil der Chatbot-Konversationen werden. Hitzig befürchtete, dass OpenAI das "Archiv menschlicher Offenheit" nutzen könnte, um Anzeigen zu schalten und die Autonomie der Nutzer zu untergraben, ähnlich wie es Facebook getan hat.

Die Zukunft der KI-Sicherheit: Zwischen Hoffnung und Resignation

Die meisten der öffentlich zurückgetretenen KI-Forscher scheinen das Feld nicht vollständig aufzugeben. Stattdessen wechseln sie oft zu konkurrierenden KI-Startups, wo sie sieben-, acht- oder sogar neunstellige Gehälter erhalten, oder sie werden zivilgesellschaftliche KI-Analysten und Forscher in einem der wachsenden KI-Think Tanks. Sie alle scheinen besorgt zu sein, dass entweder epische Gewinne oder epische Katastrophen bevorstehen.

Steven Adler, ein Sicherheitsforscher von OpenAI, der im Januar 2025 das Unternehmen verließ, schrieb, er sei "ziemlich verängstigt von der Geschwindigkeit der KI-Entwicklung" und fragte sich, ob sie die Menschheit auslöschen würde.

Eine kritische Betrachtung der "Warum ich kündige"-Briefe

Trotz der dramatischen Warnungen gibt es in vielen dieser KI-Rücktrittsbriefe wenig Diskussion darüber, wie KI derzeit eingesetzt wird. Themen wie der Bau von Rechenzentren, Ressourcenverbrauch, Massenüberwachung, Abschiebungen, Waffenentwicklung, Automatisierung, Arbeitsplatzverluste und die Krise im Bildungswesen – Bereiche, in denen viele Menschen die Auswirkungen der KI in ihrem Leben spüren – werden von den scheidenden Forschern kaum angesprochen.

Ihre Warnungen vor einer Katastrophe jenseits des Horizonts werden oft zu Futter für die Tech-Presse und dienen de facto als Bewerbungsschreiben für ihren nächsten Job in der Branche, während sie die breitere Öffentlichkeit nicht erreichen. Der Autor Jacob Silverman merkt an, dass diese Briefe oft einen Ton der Passivität und Unvermeidlichkeit annehmen, eine Art Resignation, die das Gefühl vermittelt, dass kein einzelner Protestakt ausreicht.