Grok-Skandal: xAI stoppt sexualisierte KI-Bilder nach globalem Druck

Grok, der KI-Chatbot von xAI, hat nach massiver globaler Kritik an der Generierung sexualisierter KI-Bilder von realen Personen seine Richtlinien angepasst. Die Änderungen umfassen technologische Maßnahmen zur Verhinderung solcher Inhalte und die Beschränkung der Bildgenerierung auf zahlende Abonnenten, während Regulierungsbehörden weltweit Untersuchungen eingeleitet haben.

Grok reagiert auf globale Kritik

Grok wird künftig keine KI-Bilder von realen Personen in sexualisierter Kleidung mehr generieren dürfen. X's Sicherheitskonto erklärte in einem Blogbeitrag am Mittwoch, dass technologische Maßnahmen implementiert wurden, um die Bearbeitung von Bildern realer Personen in freizügiger Kleidung wie Bikinis zu verhindern. Diese Einschränkung gelte für alle Nutzer, einschließlich zahlender Abonnenten.

Die Änderung wurde Stunden nach der Ankündigung des kalifornischen Generalstaatsanwalts Rob Bonta bekannt gegeben, eine Untersuchung zu sexualisierten KI-Deepfakes, einschließlich derer von Kindern, die von Grok generiert wurden, einzuleiten. Bonta berichtete von einer Flut von Meldungen, wonach Grok-Nutzer Bilder von Frauen und Minderjährigen online verwendeten, um diese in den generierten Bildern zu entkleiden.

Bereits letzte Woche hatte das Unternehmen die Bildgenerierung für nicht zahlende Nutzer eingeschränkt, was jedoch als unzureichend kritisiert wurde. Die Bildgenerierung und -bearbeitung über Grok auf der X-Plattform ist nun nur noch für zahlende Abonnenten verfügbar, was als zusätzliche Sicherheitsmaßnahme dient.

Internationale Ermittlungen und Verbote

Die Kontroverse führte zu weitreichenden Reaktionen internationaler Regulierungsbehörden. Indonesien und Malaysia haben Grok als erste Länder weltweit suspendiert, während Gesetzgeber in Großbritannien öffentlich eine Suspendierung in Betracht zogen.

In Großbritannien hat die Online-Sicherheitsbehörde Ofcom eine formelle Untersuchung gegen X gemäß dem Online Safety Act eingeleitet. Dies geschah aufgrund von Berichten über den Missbrauch des Grok-Chatbots zur Erstellung und Verbreitung von entkleideten Bildern von Personen, die als intimer Bildmissbrauch oder Pornografie gelten könnten, sowie sexualisierten Bildern von Kindern, die als Material für sexuellen Kindesmissbrauch eingestuft werden könnten.

Der kalifornische Generalstaatsanwalt Rob Bonta kündigte ebenfalls eine Untersuchung der "Verbreitung von nicht einvernehmlichem sexuell explizitem Material, das mit Grok erstellt wurde", an. Er bezeichnete die "Lawine von Berichten" als schockierend und forderte xAI zu sofortigen Maßnahmen auf.

Die Rolle von Abonnements und technische Lücken

Obwohl Grok die Bildgenerierung und -bearbeitung für die meisten Nutzer eingeschränkt hat, bleiben Berichten zufolge Lücken bestehen. Grok teilte X-Nutzern am Freitag mit, dass diese Funktionen nur noch zahlenden Abonnenten zur Verfügung stehen.

Ein Sprecher des britischen Premierministers Keir Starmer kritisierte, dies mache "eine KI-Funktion, die die Erstellung ungesetzlicher Bilder ermöglicht, einfach zu einem Premium-Dienst". Berichten zufolge konnten X-Nutzer ohne Premium-Konten weiterhin "Entkleidungsbilder" erstellen.

Obwohl die automatische Veröffentlichung solcher Bilder in Antworten auf Nutzerbeiträge auf X gestoppt wurde, konnten Nutzer weiterhin sexualisierte Bilder über den Grok-Tab direkt mit dem Chatbot erstellen und diese dann selbst auf X posten. Die eigenständige Grok-App, die separat von X betrieben wird, erlaubte ebenfalls weiterhin die Bildgenerierung ohne Abonnement.

Finanzielle Aspekte und Zukunftsaussichten

Die Nachrichten über Grok fielen zeitlich mit der Ankündigung von xAI zusammen, in seiner jüngsten Finanzierungsrunde am Dienstag 20 Milliarden US-Dollar erfolgreich eingesammelt zu haben. Das KI-Unternehmen übertraf damit sein Ziel von 15 Milliarden US-Dollar.

xAI führte die Bildgenerierungsfähigkeiten von Grok als wichtiges Asset für die Investitionsgewinnung an. Das Unternehmen erklärte, dass seine "Frontier Language Models auf der besten Trainingsinfrastruktur basieren, die von Colossus angetrieben wird."

xAI betonte, dass es das Reinforcement Learning Training auf beispiellose Niveaus gehoben habe, um Groks Intelligenz, Argumentation und Handlungsfähigkeit zu verfeinern. "Grok 5 befindet sich derzeit im Training, und wir konzentrieren uns auf die Einführung innovativer neuer Verbraucher- und Unternehmensprodukte, die die Leistung von Grok, Colossus und X nutzen, um unser Leben, Arbeiten und Spielen zu transformieren", so das Unternehmen.

Details der Ofcom-Untersuchung und Studien-Ergebnisse

Die Ofcom-Untersuchung wird unter anderem bewerten, wie hoch das Risiko ist, dass Menschen in Großbritannien Inhalte sehen, die im Vereinigten Königreich illegal sind. Sie prüft auch, ob X angemessene Schritte unternimmt, um das Sehen von "prioritären" illegalen Inhalten wie nicht einvernehmlichen intimen Bildern zu verhindern.

Weitere Untersuchungsbereiche sind die Geschwindigkeit, mit der X illegale Inhalte entfernt, sobald es davon Kenntnis erhält, und wie Nutzer vor Verletzungen der Datenschutzgesetze geschützt werden. Bezüglich des Kinderschutzes wird die Untersuchung auch das Risiko bewerten, das der Grok-KI-Dienst für britische Kinder darstellt, und die Wirksamkeit der Altersverifikation von X zum Schutz von Kindern vor Pornografie.

Eine Studie von AI Forensics, die 50.000 Tweets mit Grok-Erwähnungen zwischen dem 25. Dezember 2025 und dem 1. Januar 2026 analysierte, ergab, dass über die Hälfte (53 %) der Bilder Personen in "minimaler Kleidung" zeigten. Der Forscher Paul Bouchaud berichtete, dass 81 % dieser Bilder Frauen darstellten und 2 % Personen zeigten, die 18 Jahre oder jünger zu sein schienen, basierend auf dem Gemini-Vision-Modell von Google.

Die Studie stellte auch fest, dass 6 % der generierten Bilder öffentliche Persönlichkeiten darstellten, wobei etwa ein Drittel als politische Figuren identifiziert wurde. Bouchaud merkte an, dass dies darauf hindeutet, dass es keine offensichtlichen Schutzmaßnahmen gibt, die Inhalte verhindern, die für Propagandamaterial und Desinformation verwendet werden könnten.

Politische Reaktionen und Musks Haltung

Die Europäische Kommission bezeichnete die auf X geteilten Bilder von entkleideten Frauen und Kindern als ungesetzlich und entsetzlich. Ein Sprecher der Kommission erklärte, dass die Beschränkung auf zahlende Abonnenten die grundlegende Problematik nicht ändere: "Ob bezahltes Abonnement oder nicht bezahltes Abonnement, wir wollen solche Bilder nicht sehen."

Der deutsche Medienminister Wolfram Weimer beschrieb den Strom halbnackter Bilder als "Industrialisierung der sexuellen Belästigung". Drei US-Senatoren forderten Apple und Google auf, die X- und Grok-Apps aus ihren App Stores zu entfernen.

Elon Musk, Eigentümer von xAI, äußerte sich kritisch und sagte, die britische Regierung suche "jeden Vorwand für Zensur", als Reaktion auf einen Beitrag, der fragte, warum KI-Tools wie Gemini und ChatGPT nicht untersucht würden. Stunden bevor X die offizielle Sperre für sexualisierte Bilder bekannt gab, forderte Musk Nutzer auf, zu versuchen, die Bildbeschränkungen des KI-Modells zu umgehen.

Musk erklärte letzte Woche, dass jeder, der Grok zur Erstellung illegaler Inhalte nutzt, die gleichen Konsequenzen tragen würde wie für das direkte Hochladen solchen Materials.