KI-Halluzinationen in der Rechtsbranche: Wie Anwälte mit mehr KI kämpfen

Künstliche Intelligenz revolutioniert die Rechtsbranche, birgt aber auch Risiken wie sogenannte Halluzinationen, bei denen KI-Modelle falsche Informationen generieren. Dies führt zu ernsthaften Konsequenzen für Anwaltskanzleien, die nun verstärkt auf spezialisierte KI-Lösungen und strenge Standards setzen, um die Genauigkeit ihrer Rechtsdokumente zu gewährleisten.

Die Gefahr von KI-Halluzinationen in der Rechtswelt

Es ist schwierig, neugierige Rechtsreferendare davon abzuhalten, Entwürfe in kostenlose, browserbasierte Chatbots wie ChatGPT, Claude oder Gemini einzufügen. Obwohl viele Anwaltskanzleien die Nutzung öffentlich zugänglicher Chatbots für die Erstellung von Schriftsätzen verbieten, schleichen sich KI-generierte Fehler ein. Die Rechtsbranche hat auf peinliche KI-Halluzinationen mit Verboten von Allzweck-Chatbots reagiert, doch das Risiko gefälschter Zitate bleibt hoch.

Fallbeispiele und Konsequenzen

Die Anwaltskanzlei Cozen O'Connor testet nun eine Software des Startups Clearbrief, die Rechtsdokumente auf erfundene Fakten scannt und einen Bericht erstellt. Dies geschieht, nachdem ein Richter zwei ihrer Anwälte wegen der Zitierung gefälschter Fälle bestraft hatte. Im September gaben zwei Verteidiger von Cozen O'Connor zu, ein Dokument mit falschen Fällen eingereicht zu haben, nachdem einer von ihnen ChatGPT entgegen der Firmenpolitik genutzt hatte.

Ein Richter in Nevada gab der Kanzlei die Wahl: die Anwälte vom Fall abziehen und jeweils 2.500 US-Dollar Strafe zahlen, oder die beiden Anwälte sollten ihren ehemaligen Dekanen und Anwaltskammern den Vorfall erklären und Seminare zu Themen wie "professionelles Verhalten" anbieten. Beide Anwälte wählten Option zwei. Cozen O'Connor entließ zudem den Anwalt, der ChatGPT verwendet hatte.

Damien Charlotin, ein Rechtsdatenanalyst, verfolgt Fälle mit halluzinierten Inhalten in Gerichtsakten. Zwischen April 2023 und Mai 2025 zählte er 120 solcher Fälle; bis Dezember stieg die Zahl auf 660, mit einer Beschleunigung auf vier bis fünf neue Fälle pro Tag. Die meisten Fälle in seiner Datenbank betrafen selbstvertretende Parteien oder Anwälte kleinerer Kanzleien. Bei großen Kanzleien waren Halluzinationen oft auf die Arbeit von Junior-Mitarbeitern, Paralegals oder Beratern zurückzuführen. Halluzinierte Inhalte verursachen auch in anderen Berufen Probleme, wie der Fall der Beratungsfirma Deloitte zeigt, die der australischen Regierung eine Teilerstattung für einen Bericht zahlen musste, der angeblich KI-generierte Fehler enthielt.

Die Herausforderung der Halluzinationen

KI-Halluzinationen sind schwer zu eliminieren, da sie in der Funktionsweise von Chatbots verankert sind. Große Sprachmodelle (LLMs) sind darauf trainiert, das wahrscheinlichste nächste Wort vorherzusagen. Michael Dahn, Senior Vice President bei Thomson Reuters, erklärt, dass Modellentwickler Halluzinationen bei offenen Fragen nicht auf null reduzieren können.

Unternehmen können das Risiko jedoch drastisch senken, indem sie ein LLM zwingen, aus einem spezifischen Datensatz zu zitieren, beispielsweise einem Korpus von Fallrecht. Obwohl das Modell immer noch Inhalte falsch zuordnen oder übersehen kann, sind vollständige Fälschungen weitaus unwahrscheinlicher.

Spezialisierte KI-Lösungen als Antwort

Thomson Reuters und LexisNexis bieten ihren Kunden die Sicherheit, dass ein künstlicher Assistent, der auf ihre geprüften Materialien beschränkt ist, sicherer ist als ein Chatbot, der im offenen Internet trainiert wurde. Beide Unternehmen haben über Jahrzehnte umfangreiche Repositorien von Fallrecht und anderen juristischen Inhalten aufgebaut und diese kürzlich mit KI-gestützten Tools erweitert. LexisNexis hat zudem eine Partnerschaft mit dem Legal-Tech-Startup Harvey geschlossen, dessen Bewertung auf 8 Milliarden US-Dollar gestiegen ist. Diese Partnerschaft integriert eine der weltweit größten Rechtsdatenbanken in Harveys generative Tools.

Harvey arbeitet auch mit KI-Modellanbietern wie OpenAI und Anthropic zusammen, um die Datensätze, aus denen sie schöpfen dürfen, zu beschränken und eigene proprietäre Datensätze zu integrieren. Anwälte können Protokolle einsehen, die zeigen, wie eine Antwort zustande kam und welche Daten sie speisten. Clearbrief, ein Microsoft Word-Plug-in, erkennt Zitate mittels natürlicher Sprachverarbeitung und erstellt Links zu relevantem Fallrecht oder Dokumenten. Das Tool weist auf gefälschte Zitate, Tippfehler und Stellen hin, an denen die zugrunde liegende Quelle die Behauptung des Verfassers nicht vollständig stützt.

Cozen O'Connor testet eine neue Clearbrief-Funktion, die es Benutzern ermöglicht, einen Zitatprüfbericht zu erstellen, bevor ein Entwurf an einen Partner weitergegeben oder bei Gericht eingereicht wird. Kristina Bakardjiev, Partnerin bei Cozen O'Connor, sieht den Vorteil auch in der Nachvollziehbarkeit: Zitatprüfberichte könnten zusammen mit Entwürfen und endgültigen Einreichungen gespeichert werden, um eine "Chain of Custody" zu schaffen. Sie merkt an, dass Partner, die Schriftsätze unterzeichnen, persönlich für deren Richtigkeit verantwortlich sind.

Neue Standards für KI-Sicherheit

LAW.co, eine Plattform für juristische KI-Suche und Vertragsgenerierung, hat formale Industriestandards veröffentlicht, um Anwaltskanzleien bei der sicheren Nutzung von LLMs zu unterstützen und Halluzinationen zu vermeiden. Diese Standards stellen den ersten strukturierten Versuch dar, einen universellen Genauigkeitsrahmen für die Nutzung von Rechts-KI zu schaffen. Nate Nead, Gründer und CEO von LAW.co, betont, dass die Rechtsbranche einen Standard für die Genauigkeit, Compliance und Sicherheit der bereits genutzten Modelle benötigt.

Im Kern der Richtlinien steht das Prinzip "document-first, model-second", das die KI zwingt, juristische Antworten ausschließlich auf überprüfbare Rechtsquellen zu stützen. Der Rahmen führt auch "locked provenance chains" ein, ein System, das sicherstellt, dass Zitationsquellen fest, überprüfbar und bis auf Zeilenebene in Originaldokumenten nachvollziehbar sind. Dies schafft eine "deterministische Wahrheitsebene" über den generativen KI-Outputs, die faktische Rechenschaftspflicht ohne Reduzierung der KI-Nutzbarkeit bietet.

Der Weg nach vorn: Training und Technologie

Die Rechtswelt wird voraussichtlich noch lange mit Halluzinationen leben müssen. Ein wesentlicher Teil der Lösung ist das Training von Anwälten, die Ausgabe von Chatbots als Ausgangspunkt und nicht als fertiges Werk zu betrachten. Die andere Antwort besteht darin, mehr KI gegen die KI einzusetzen, um deren Fehler zu erkennen und zu korrigieren.