KI-Agent ARTEMIS: Stanford-Hack zeigt Potenzial und Grenzen der Cybersicherheit

Ein von Stanford-Forschern entwickelter KI-Agent namens ARTEMIS hat in einem 16-stündigen Test das Netzwerk der Universität auf Sicherheitslücken untersucht. Dabei übertraf er die Leistung professioneller menschlicher Hacker und das zu einem Bruchteil deren üblicher Kosten. Die Ergebnisse werfen ein Schlaglicht auf das wachsende Potenzial, aber auch auf die Grenzen der Künstlichen Intelligenz im Bereich der Cybersicherheit.

KI-Agent ARTEMIS: Überlegenheit bei Penetrationstests

Der KI-Agent ARTEMIS durchsuchte 16 Stunden lang die öffentlichen und privaten Computernetzwerke der Informatikfakultät von Stanford, um Sicherheitslücken in Tausenden von Geräten aufzudecken. In einer Studie, die von den Stanford-Forschern Justin Lin, Eliot Jones und Donovan Jasper geleitet wurde, belegte ARTEMIS den zweiten Platz in einem Experiment mit zehn ausgewählten Cybersicherheitsexperten. Die Forscher stellten fest, dass der Agent Schwachstellen aufdecken konnte, die Menschen übersehen hatten, und mehrere Sicherheitslücken gleichzeitig untersuchte.

Innerhalb eines 10-Stunden-Fensters entdeckte der Agent neun gültige Schwachstellen mit einer Validierungsrate von 82 %, womit er neun von zehn menschlichen Teilnehmern übertraf. Einige dieser Fehler waren von Menschen unbemerkt geblieben, darunter eine Schwachstelle auf einem älteren Server, auf den menschliche Tester aufgrund von Browserproblemen nicht zugreifen konnten. ARTEMIS umging dieses Problem und drang mittels einer Kommandozeilenanfrage ein. Die KI arbeitete auf eine Weise, die Menschen nicht konnten, indem sie bei "bemerkenswerten" Funden zusätzliche "Sub-Agenten" zur Hintergrunduntersuchung startete und so mehrere Ziele gleichzeitig prüfen konnte.

Kosten und Effizienz: Ein genauerer Blick

Die Betriebskosten für ARTEMIS belaufen sich auf etwa 18 US-Dollar pro Stunde, was weit unter dem durchschnittlichen Jahresgehalt von etwa 125.000 US-Dollar für einen "professionellen Penetrationstester" liegt. Eine fortgeschrittenere Version des Agenten kostet 59 US-Dollar pro Stunde und ist immer noch günstiger als die Einstellung eines menschlichen Top-Experten. Diese Zahlen wurden von den Forschern als "gefährlich gut" bezeichnet und führten zu Schlagzeilen über einen Durchbruch in der Cybersicherheit.

Es ist jedoch wichtig, den Kontext dieser Kosten zu verstehen. Die 18 US-Dollar pro Stunde umfassen hauptsächlich API-Aufrufe an GPT-5. Nicht enthalten sind Infrastrukturkosten wie bereitgestellte virtuelle Maschinen, VPN-Konfigurationen, Protokollierungssysteme, die Echtzeitüberwachung durch das Forschungsteam mit Kill-Switches oder die Genehmigungen der Stanford-IT-Abteilung für markierte Aktionen. Zudem ist die Zählung von Schwachstellen nicht gleichbedeutend mit einem vollständigen Penetrationstest.

Die Grenzen der Künstlichen Intelligenz: Wo ARTEMIS stolperte

Trotz seiner beeindruckenden Leistung ist ARTEMIS nicht fehlerfrei. Der KI-Agent hatte Schwierigkeiten mit Aufgaben, die das Klicken durch grafische Benutzeroberflächen (GUIs) erforderten, wodurch er eine kritische Schwachstelle übersah. Beispielsweise verpasste ARTEMIS eine Remote-Code-Execution-Schwachstelle über TinyPilot, die 80 % der menschlichen Teilnehmer fanden, weil das System die browserbasierte KVM-Schnittstelle nicht navigieren konnte.

ARTEMIS neigt auch zu Fehlalarmen, indem es harmlose Netzwerk-Nachrichten oder Weiterleitungen zu Anmeldeseiten (HTTP 200) fälschlicherweise als erfolgreichen Einbruch interpretiert. Die Forscher stellten fest, dass ARTEMIS besser abschneidet, wenn grafische Benutzeroberflächen nicht verfügbar sind, da es codeähnliche Eingaben und Ausgaben gut verarbeitet. In einem Fall, in dem ARTEMIS einen älteren Dell iDRAC-Server ausnutzte, den menschliche Tester aufgrund veralteter HTTPS-Cipher-Suites nicht laden konnten, umging die KI die Sicherheitshinweise einfach mit einem Kommandozeilen-Flag (`curl -k`). Dies wurde als "Script-Kiddie-Verhalten" beschrieben, das automatisiert wurde.

KI als zweischneidiges Schwert: Erleichterung für Angreifer und neue Herausforderungen für die Cybersicherheit

Die Fortschritte in der Künstlichen Intelligenz haben die Hürden für Hacking und Desinformationsoperationen gesenkt, was böswilligen Akteuren ermöglicht, ihre Angriffe zu verbessern. Im September nutzte eine nordkoreanische Hackergruppe ChatGPT, um gefälschte Militär-IDs für Phishing-E-Mails zu generieren. Ein Bericht von Anthropic im August zeigte, dass nordkoreanische Operative ihr Claude-Modell nutzten, um betrügerische Remote-Jobs bei US-Fortune-500-Tech-Unternehmen zu erhalten und so Insider-Zugang zu Unternehmenssystemen zu erlangen. Ein chinesischer Akteur nutzte Claude für Cyberangriffe auf vietnamesische Telekommunikations-, Landwirtschafts- und Regierungssysteme.

Yuval Fernbach, CTO von JFrog, beobachtet viele Angriffe, bei denen Hacker KI-Modelle nutzen, um Daten zu extrahieren, Systeme abzuschalten oder Websites und Tools zu manipulieren. Sanmi Koyejo, Assistenzprofessor an der Stanford University und Mitbegründer von Virtue AI, erklärt, dass KI-Systeme aufgrund ihrer Flexibilität, Kontextualität und der Kombination von Daten und Rechenleistung schwieriger zu schützen sind als traditionelle Computersysteme. Viele etablierte Sicherheitstools sind bei KI-Systemen, insbesondere bei agentenbasierten Systemen, weniger effektiv.

Im Bereich der KI-Sicherheit entwickeln sich zwei Hauptansätze:

• Klassische Cybersicherheitsunternehmen, die KI hinzufügen, um traditionelle Sicherheitsprobleme zu lösen und gleichzeitig Sicherheitsfunktionen für KI-Systeme wie Datensanierung, Guardrails und KI-Firewalls gegen Prompt-Injections zu integrieren.
• Native KI-Unternehmen, die sich von Grund auf mit der Sicherheit von KI befassen. Sie verstehen die Systeme und ihre Schwachstellen tiefgreifend und nutzen dieses Wissen, um Sicherheitsinfrastrukturen zu entwickeln. Koyejo ist der Ansicht, dass KI-native Ansätze für Sicherheitsanwendungen in der KI wahrscheinlich effektiver sind.