OpenAI sucht KI-Sicherheitschef: 555.000 $ für einen "stressigen Job

OpenAI, der Entwickler von ChatGPT, sucht einen neuen Head of Preparedness, eine Position, die mit einem Jahresgehalt von 555.000 US-Dollar plus Aktien vergütet wird. Diese Schlüsselrolle ist entscheidend, um die potenziellen Risiken fortschrittlicher KI-Modelle zu antizipieren und zu mindern, steht jedoch vor erheblichen Herausforderungen, da sie ein Gleichgewicht zwischen schneller Innovation und umfassender Sicherheit finden muss.

Eine Schlüsselposition mit hoher Vergütung

Die ausgeschriebene Position des Head of Preparedness bei OpenAI hat online für Aufsehen gesorgt, nicht zuletzt wegen der attraktiven Vergütung von 555.000 US-Dollar Jahresgehalt zuzüglich Aktienanteilen. Diese Summe unterstreicht die Bedeutung, die OpenAI der Risikominimierung im Bereich der Künstlichen Intelligenz beimisst. CEO Sam Altman bezeichnete die Rolle auf X als "kritisch in einer wichtigen Zeit".

Die Aufgabe besteht darin, neue KI-Modelle auf gefährliche Fähigkeiten zu testen und Wege zu antizipieren, wie KI-Systeme Schaden anrichten könnten. Dies umfasst Bedrohungen von groß angelegten Phishing-Angriffen bis hin zu ernsteren Szenarien wie der Beteiligung von KI-Systemen an nuklearen oder biologischen Gefahren. Der Head of Preparedness wird das interne System von OpenAI zur Verfolgung und Vorbereitung auf "Frontier Capabilities" leiten, die neue Risiken schwerwiegender Schäden schaffen könnten.

Die Herausforderungen der Rolle

Trotz der hohen Vergütung wird die Besetzung der Position als schwierig eingeschätzt. Sam Altman selbst beschrieb den Job als "stressig" und merkte an, dass man "ziemlich sofort ins kalte Wasser springen" werde. Maura Grossman, Forschungsprofessorin an der University of Waterloo, bezeichnete die Rolle als "nahezu unmöglich", da die Person möglicherweise Altman anweisen muss, die Entwicklung zu verlangsamen oder bestimmte Ziele nicht zu verfolgen.

Der Inhaber der Position muss Sicherheitsbedenken mit den Anforderungen von CEO Sam Altman in Einklang bringen, der Produkte bekanntermaßen in einem außergewöhnlich schnellen Tempo veröffentlicht. Im vergangenen Jahr führte OpenAI unter anderem die Video-App Sora 2, Instant Checkout für ChatGPT, neue KI-Modelle und erweiterte Agentenfunktionen ein. Die Notwendigkeit, Produkte zu verzögern, einzuschränken oder neu zu gestalten, die potenziell ernsthaften Schaden anrichten könnten, ist eine Kernaufgabe.

Gesuchte Qualifikationen und Hintergründe

Die Stellenausschreibung von OpenAI listet keine typischen Anforderungen wie einen Hochschulabschluss oder eine Mindestanzahl an Berufsjahren auf. Stattdessen sucht das Unternehmen eine Person, die technische Teams geleitet hat, sich mit klaren, risikoreichen technischen Urteilen unter Unsicherheit wohlfühlt und verschiedene Stakeholder bei Sicherheitsentscheidungen zusammenführen kann. Tiefgreifende technische Expertise in maschinellem Lernen, KI-Sicherheit, Evaluierung, Sicherheit oder angrenzenden Risikobereichen ist ebenfalls erforderlich.

Der frühere Head of Preparedness von OpenAI, Aleksander Madry, wechselte im Juli 2024 in eine neue Rolle. Richard Lachman, Professor für digitale Medien an der Toronto Metropolitan University, meint, dass ein erfahrener Manager aus der Tech-Branche besser geeignet wäre als ein Akademiker, da Akademiker tendenziell vorsichtiger und risikoscheuer sind. Lachman erwartet, dass OpenAI jemanden sucht, der das öffentliche Image des Unternehmens in Bezug auf Sicherheit schützen kann, während gleichzeitig schnelle Innovation und Wachstum ermöglicht werden.

Interne und externe Bedenken

OpenAIs Ansatz zur Sicherheit hat intern Bedenken ausgelöst, was einige prominente frühe Mitarbeiter, darunter einen ehemaligen Leiter des Sicherheitsteams, zum Rücktritt veranlasste. Das Unternehmen wurde auch von Personen verklagt, die behaupten, es verstärke Wahnvorstellungen und führe zu anderem schädlichen Verhalten. Im Oktober räumte OpenAI ein, dass einige ChatGPT-Nutzer mögliche Anzeichen psychischer Probleme gezeigt haben.

Sam Altman selbst erwähnte in seinem Post auf X, dass der "potenzielle Einfluss von Modellen auf die psychische Gesundheit etwas war, das wir 2025 als Vorschau sahen". Er wies auch darauf hin, dass Modelle mittlerweile so gut in der Computersicherheit sind, dass sie beginnen, kritische Schwachstellen zu finden. Diese Entwicklungen unterstreichen die Dringlichkeit und Komplexität der Rolle.

Die Mission der Preparedness-Abteilung

Das Preparedness-Team wurde 2023 gegründet, um die Risiken von Spitzen-KI-Modellen zu untersuchen. Die Mission des neuen Head of Preparedness ist es, Programme aufzubauen und zu leiten, die neue Modelle vor ihrer Veröffentlichung auf gefährliche Fähigkeiten testen. Dazu gehört auch die Entwicklung von Strategien, wie OpenAI reagieren wird, wenn bestimmte KI-Modelle Risikoschwellen überschreiten.

Altman formulierte die Aufgabe als eine Chance, "der Welt zu helfen herauszufinden", wie Cybersicherheitsverteidiger mit modernsten Fähigkeiten ausgestattet werden können, während gleichzeitig verhindert wird, dass Angreifer diese für schädliche Zwecke nutzen. Ähnliche Überlegungen gelten für die Freigabe biologischer Fähigkeiten und die Gewährleistung der Sicherheit von Systemen, die sich selbst verbessern können.