Anthropic: Der Spagat zwischen KI-Sicherheit und Milliardengewinnen

Das führende KI-Startup Anthropic, bekannt für seinen Chatbot Claude, steht vor einer grundlegenden Herausforderung: den eigenen Werten der KI-Sicherheit treu zu bleiben, während der kommerzielle Druck und die Erwartungen an das Wachstum exponentiell steigen. Dieses Dilemma, das auch andere Akteure der Branche betrifft, prägt die Entwicklung des Unternehmens maßgeblich.

Der Spagat zwischen Profit und Prinzipien

Dario Amodei, CEO von Anthropic, beschreibt die Situation seines Unternehmens als einen "unglaublichen kommerziellen Druck". Er betonte in einem Interview auf dem "Dwarkesh"-Podcast, dass Anthropic sich die Arbeit zusätzlich erschwere, da es "all diese Sicherheitsmaßnahmen" ergreife, die seiner Meinung nach über das hinausgehen, was andere Unternehmen tun. Diese Aussage unterstreicht den internen Konflikt, der entsteht, wenn hohe ethische Standards auf aggressive Wachstumsziele treffen.

Anthropic: Eine Gründung aus Sicherheitsbedenken

Anthropic wurde 2021 von Dario Amodei, seiner Schwester Daniela Amodei und fünf weiteren ehemaligen Mitarbeitern von OpenAI gegründet. Der Antrieb für diese Gründung war die Sorge über eine wahrgenommene "Missionsverschiebung" bei OpenAI, das ursprünglich gegründet wurde, um KI zum Wohle der gesamten Menschheit zu entwickeln. Die Gründer von Anthropic wollten ein KI-Unternehmen führen, das die Sicherheit über alles andere stellt, insbesondere angesichts der zunehmenden Leistungsfähigkeit von KI-Systemen. Dario Amodei war zuvor Vice President of Research bei OpenAI und konzentrierte sich dort auf Sicherheitsthemen.

Enormes Wachstum und steigende Erwartungen

Trotz seiner relativ jungen Geschichte – Anthropic wurde erst vor fünf Jahren gegründet – hat das Unternehmen eine beeindruckende finanzielle Entwicklung hingelegt. Erst letzte Woche gab Anthropic eine Series G-Finanzierung in Höhe von 30 Milliarden US-Dollar bekannt, die das Unternehmen mit 380 Milliarden US-Dollar bewertet und es zu einem der wertvollsten Privatunternehmen der Welt macht.

In seiner Pressemitteilung hob das Unternehmen sein starkes Umsatzwachstum hervor: "Es ist weniger als drei Jahre her, dass Anthropic seinen ersten Dollar Umsatz erzielte", hieß es. "Heute beträgt unser annualisierter Umsatz 14 Milliarden US-Dollar, wobei diese Zahl in jedem der letzten drei Jahre um mehr als das Zehnfache jährlich gewachsen ist." Ein solches Wachstum geht jedoch oft mit steigenden Erwartungen einher. Amodei fasste die Situation zusammen: "Der Druck, wirtschaftlich zu überleben und gleichzeitig unsere Werte zu bewahren, ist einfach unglaublich. Wir versuchen, diese 10-fache Umsatzkurve beizubehalten."

Die Herausforderung der KI-Sicherheit

Die Schwierigkeit, die Sicherheitsmission aufrechtzuerhalten, wird auch von ehemaligen Mitarbeitern geteilt. Mrinank Sharma, ein ehemaliger Sicherheitsforscher bei Anthropic, trat letzte Woche teilweise aufgrund dieser Spannung zurück. In seinem auf X geteilten Rücktrittsschreiben schrieb Sharma: "Während meiner Zeit hier habe ich wiederholt gesehen, wie schwer es ist, unsere Werte wirklich unser Handeln bestimmen zu lassen. Ich habe dies in mir selbst, innerhalb der Organisation, wo wir ständig unter Druck stehen, das Wichtigste beiseite zu legen, und auch in der breiteren Gesellschaft gesehen."

Dario Amodei selbst warnt eindringlich vor den Risiken der KI. In einem 19.000 Wörter umfassenden Essay mit dem Titel "The adolescence of technology" beschrieb er, dass die Menschheit in eine Phase der KI-Entwicklung eintrete, die "testen wird, wer wir als Spezies sind". Er glaubt, dass wir "beträchtlich näher an einer echten Gefahr" sind als noch 2023.

Risiken der Künstlichen Intelligenz

Amodei unterteilt die potenziellen Risiken, die von der generativen KI ausgehen, in fünf Kategorien:

• KI, die außer Kontrolle gerät: Das klassische Szenario einer KI, die bösartige Ideen entwickelt und danach handelt.
• Böse Akteure, die KI missbrauchen: Einzelpersonen oder Staaten, die KI für schädliche Zwecke einsetzen.
• Gesellschaftliche Umwälzungen: Wie Massenarbeitslosigkeit durch Automatisierung.
• Unvorhersehbare "seltsame Dinge": Risiken, die wir derzeit nicht antizipieren können.
• Vernachlässigung von Kinderschutz: Amodei kritisierte, dass einige KI-Unternehmen eine "beunruhigende Nachlässigkeit" gegenüber der Sexualisierung von Kindern in heutigen Modellen gezeigt hätten.

Er befürchtet, dass leistungsstarke KI-Systeme, die autonom eigene Systeme bauen könnten, nur noch ein bis zwei Jahre entfernt sein könnten. Solche "mächtigen KIs" definiert er als Modelle, die in Bereichen wie Biologie, Mathematik, Ingenieurwesen und Schreiben intelligenter sind als Nobelpreisträger und Roboter steuern oder sogar selbst entwerfen könnten. Anthropic hat als Reaktion darauf eine 80-seitige "Verfassung" für Claude veröffentlicht, um die KI "weitgehend sicher und ethisch" zu gestalten. Zudem wurde ein "Klassifikator" implementiert, der speziell Ausgaben im Zusammenhang mit Biowaffen blockiert.

Der Ruf nach verantwortungsvoller KI-Entwicklung

Die Spannung zwischen Innovation und Verantwortung ist nicht auf Unternehmen beschränkt, die grundlegende KI-Modelle entwickeln. Tad Roselund, Managing Director und Senior Partner bei der Boston Consulting Group, stellte 2024 fest, dass der verantwortungsvolle Einsatz von KI am Arbeitsplatz "nirgendwo annähernd so schnell vorankommt, wie er sollte".

Auch im Venture-Capital-Ökosystem spiegelt sich ein Ungleichgewicht wider. Navrina Singh, Gründerin und CEO der KI-Governance-Plattform Credo AI, erklärte 2024 gegenüber Business Insider: "Um KI in großem Maßstab und schnell verantwortungsvoll einzuführen, muss gleichermaßen Wert auf ethische Rahmenbedingungen, Infrastruktur und Tools gelegt werden, um eine nachhaltige und verantwortungsvolle KI-Integration in allen Sektoren zu gewährleisten." Dies unterstreicht die Notwendigkeit, dass die gesamte Branche die Risiken ernst nimmt und entsprechende Maßnahmen ergreift.