Woran Sie erkennen, ob eine Kanzlei-KI halluziniert
Eine Kanzlei-KI halluziniert, wenn sie eine sprachlich stimmige Antwort erzeugt, für die es in den Dokumenten und Gesetzen, auf die sie sich beruft, keine Grundlage gibt. Erkennen lässt sich das an vier Mustern: Es fehlt eine Fundstelle, die genannte Fundstelle existiert zwar, trägt die Aussage aber nicht, die zitierte Fassung ist veraltet, oder der Paragraf stammt aus dem deutschen statt dem österreichischen Recht. Die einzige verlässliche Gegenprobe ist die Stichprobe: die genannte Quelle öffnen und die Stelle nachlesen.
Dieser Beitrag erklärt, warum Sprachmodelle erfinden, zeigt die vier Muster am Kanzleialltag und beschreibt ein Prüfverfahren mit zwanzig Fragen, das sich in jedem Testbetrieb durchführen lässt, bevor ein System gekauft wird.
Warum Sprachmodelle erfinden
Ein Sprachmodell sagt nicht nach, was es gelesen hat, sondern setzt Wort für Wort fort, was am wahrscheinlichsten passt. Es hat keinen eingebauten Unterschied zwischen einer Aussage, die es belegen kann, und einer, die nur richtig klingt. Deshalb sind erfundene Antworten nicht auffällig unsicher formuliert, sondern im Gegenteil oft besonders flüssig.
Für Kanzleien ist das gefährlicher als in anderen Berufen, weil juristische Sprache selbst formelhaft ist. Ein erfundenes Aktenzeichen, eine erfundene Randziffer oder ein Paragraf mit plausibler Nummer sind auf den ersten Blick nicht von echten zu unterscheiden. Der Prüfaufwand liegt also nicht beim Lesen, sondern beim Nachschlagen.
Die vier Muster im Kanzleialltag
In Testbetrieben mit echten Akten tauchen fast immer dieselben vier Fehlerbilder auf:
- Antwort ohne Fundstelle: Das System formuliert ein Ergebnis, nennt aber kein Dokument, keine Seite, keinen Paragrafen. Das ist der einfachste Fall, weil er sofort sichtbar ist. Behandeln Sie solche Antworten als unbrauchbar, nicht als Ausgangspunkt.
- Fundstelle trägt die Aussage nicht: Das Dokument existiert, die Seite existiert, aber dort steht etwas anderes oder deutlich weniger. Dieses Muster ist das häufigste und das gefährlichste, weil die Antwort geprüft aussieht.
- Veraltete Fassung: Die Bestimmung ist echt, gilt aber in dieser Form nicht mehr, oder galt zum fraglichen Stichtag noch nicht. Bei steuerlichen Fragen mit Jahresbezug ist das der Regelfehler.
- Falsche Rechtsordnung: Das Modell antwortet mit deutschem Recht, weil dazu ungleich mehr Text im Training steckt. Wenn in einer Antwort für einen österreichischen Sachverhalt plötzlich BRAO, StBerG oder ein deutscher Paragraf auftaucht, ist das ein klares Warnsignal.
Was Quellenbindung leistet und was nicht
Systeme, die ihre Antworten an einen abgegrenzten Dokumentenbestand binden und jede Aussage mit Fundstelle belegen, senken das Risiko erheblich. Der Grund ist einfach: Das Modell formuliert nicht aus dem Gedächtnis, sondern fasst zusammen, was ihm vorgelegt wurde, und die Fundstelle macht jede Aussage in Sekunden nachprüfbar. Deshalb ist Quellenbindung kein Komfortmerkmal, sondern die Grundbedingung für den Einsatz in einer haftenden Kanzlei.
Beseitigt ist das Problem damit aber nicht. Auch ein quellengebundenes System kann die falsche Passage auswählen, zwei Absätze zusammenziehen, die nicht zusammengehören, oder eine Nuance verlieren. Es verschiebt den Fehler von der Erfindung zur Auswahl. Der Unterschied ist entscheidend: Ein Auswahlfehler ist in einer Minute überprüfbar, eine Erfindung ohne Quelle nicht.
Ein verbreitetes Missverständnis dazu: Ob ein System lokal oder in der Cloud läuft, sagt über Halluzinationen nichts aus. Der Standort regelt, wohin die Daten fließen, nicht, wie sorgfältig geantwortet wird. Die Einordnung dazu steht im Beitrag On-Premise-KI vs. Cloud-KI.
Ein Prüfverfahren für den Testbetrieb: zwanzig Fragen
Statt sich Demonstrationen vorführen zu lassen, stellen Sie dem System zwanzig eigene Fragen, deren richtige Antwort Sie bereits kennen. Vier Gruppen zu je fünf Fragen:
- Fünf Fragen zu abgeschlossenen eigenen Akten: Sachverhalte, die im Haus jemand aus dem Kopf beantworten kann. Prüfmaßstab ist nicht nur die Antwort, sondern ob das richtige Dokument genannt wird.
- Fünf Rechtsfragen mit bekannter Antwort: Fragen, deren Fundstelle Sie kennen. Prüfen Sie Paragraf, Fassung und ob die Rechtsordnung stimmt.
- Fünf Fragen ohne Antwort im Bestand: Fragen zu Themen, die Ihre Kanzlei nie bearbeitet hat. Ein gutes System sagt hier, dass es dazu nichts findet. Ein System, das trotzdem antwortet, ist durchgefallen. Dieser Verweigerungstest ist der aussagekräftigste der vier.
- Fünf Fragen mit Stichtagsbezug: „Welche Fassung galt am 1. März 2023?“ Damit prüfen Sie, ob das System Zeitstände unterscheidet oder immer den heutigen Stand ausgibt.
Was das für die Haftung bedeutet
Die berufsrechtliche Verantwortung für eine Auskunft bleibt beim Berufsträger, unabhängig davon, welches Werkzeug sie vorbereitet hat. Eine KI ist damit rechtlich in derselben Position wie ein Entwurf einer Konzipientin oder eines Mitarbeiters: nützlich, aber prüfpflichtig. Wer das ernst nimmt, gewinnt trotzdem Zeit, weil Prüfen schneller geht als Suchen.
Praktisch heißt das: Legen Sie schriftlich fest, für welche Aufgaben KI-Antworten verwendet werden dürfen und wer sie freigibt. Eine Vorlage und die Einordnung dazu finden Sie in unserer KI-Richtlinie und im Beitrag ChatGPT in der Kanzlei.
Wenn Sie einordnen wollen, wo Ihre Kanzlei beim Thema Prüfpflichten und Datenwege heute steht, liefert der Kanzlei-Check eine erste Standortbestimmung: zehn Fragen, drei Minuten, Ergebnis sofort.
Häufige Fragen
Halluzinieren lokale KI-Systeme weniger als ChatGPT?
Nicht wegen des Standorts. Entscheidend ist, ob die Antworten an einen abgegrenzten Dokumentenbestand gebunden sind und jede Aussage eine Fundstelle trägt. Ein lokales System ohne Quellenbindung erfindet genauso wie ein Cloud-Chatbot, ein quellengebundenes System erfindet in beiden Fällen deutlich seltener.
Kann man Halluzinationen vollständig abstellen?
Nein. Man kann sie stark eindämmen, indem das System nur auf einem definierten Bestand antwortet, jede Aussage belegt und bei fehlender Grundlage ausdrücklich sagt, dass es nichts gefunden hat. Ein Restrisiko bleibt, weil auch die Auswahl der richtigen Passage fehlerhaft sein kann. Deshalb bleibt die Prüfung durch den Berufsträger Pflicht.
Wie viele Stichproben sind sinnvoll?
Im Testbetrieb zwanzig Fragen mit bekannter Antwort, verteilt auf eigene Akten, Rechtsfragen, Fragen ohne Antwort im Bestand und Fragen mit Stichtagsbezug. Im laufenden Betrieb genügt es, jede Antwort vor der Verwendung nach außen an der genannten Fundstelle zu prüfen, das dauert pro Antwort meist unter einer Minute.
Woran erkenne ich sofort eine unbrauchbare Antwort?
An drei Signalen: Es fehlt jede Fundstelle, es wird ein deutscher Paragraf für einen österreichischen Sachverhalt genannt, oder das System antwortet ausführlich auf eine Frage, zu der es in Ihrem Bestand nichts geben kann. Jedes dieser Signale reicht, um die Antwort zu verwerfen.
Wer haftet, wenn eine KI-Antwort falsch war?
Der Berufsträger, der die Auskunft erteilt oder den Schriftsatz einbringt. Die KI ist ein Hilfsmittel und ändert an der berufsrechtlichen Verantwortung nichts. Genau deshalb sind Quellenangaben und eine schriftliche interne Regel zur Freigabe kein Formalismus, sondern Ihr Nachweis, sorgfältig gearbeitet zu haben.