Woran KI-Rechtsrecherche scheitert: sechs Fehlerklassen aus 37 Testfällen

Eine KI-Rechtsauskunft klingt fast immer souverän. Genau das ist die Gefahr: Der flüssige, gut strukturierte Absatz verrät nicht, ob die zitierte Fassung noch gilt, ob das Gesetz überhaupt einschlägig ist oder ob die Antwort einen Sachverhalt beschreibt, der so gar nicht gefragt war.

Für einen eigenen, offen deklarierten Blindvergleich haben wir 37 Rechtsfragen aus österreichischem Bundesrecht, Steuerrecht und Europarecht wortgleich über vier Systeme laufen lassen und jede Antwort vollständig archiviert. Bewertet haben die Antworten drei voneinander unabhängige, systemblinde KI-Prüfinstanzen – keine menschlichen Juristen; das legen wir offen. Dabei sind uns immer wieder dieselben Fehlermuster begegnet. Wir haben sie zu sechs Klassen verdichtet. Für jede zeigen wir, wie der Fehler aussieht – und welcher Mechanismus in RICI dagegen steht.

Wichtig vorweg: Namen nennen wir keine. Alle Vergleichssysteme sind am österreichischen Markt verfügbare KI-Rechtsrecherche-Werkzeuge. Es geht uns nicht um Herabsetzung, sondern um die Frage, die jeder Praktiker vor dem KI-Einsatz stellt: Wo genau kann so ein System danebenliegen?

Fehlerklasse 1: Veraltetes Recht als geltendes Recht

Die häufigste und zugleich unauffälligste Schwäche. Auf eine Frage zur Gewährleistung nannte eines der Vergleichssysteme eine sechsmonatige Frist für die Beweislastumkehr – den Stand vor der Gewährleistungsreform. Seit der Umsetzung im Verbrauchergewährleistungsgesetz (VGG) und der begleitenden ABGB-Anpassung gilt hier ein Jahr. Wer die alte Zahl in ein Schreiben übernimmt, argumentiert an der geltenden Rechtslage vorbei.

Das Muster ist tückisch, weil ältere Rechtslagen im Trainingsmaterial vieler Modelle überrepräsentiert sind: Kommentare, Foreneinträge und ältere Aufsätze zitieren die alte Frist noch jahrelang weiter.

Was in RICI dagegen steht – Fassungsversionierung: RICI arbeitet auf fassungsgenau versionierten Rechtsquellen und liefert für einen Stichtag die jeweils geltende Fassung, nicht die zufällig prominenteste. Jede zitierte Norm ist mit einem fassungsgenauen Deeplink ins RIS hinterlegt – Sie sehen also selbst, welche Fassung die Grundlage war.

Fehlerklasse 2: Das falsche Gesetz mit derselben Nummer

Österreich hat viele gleichlautende Paragraphenzahlen in unterschiedlichen Gesetzen. Ein Vergleichssystem zog auf eine arbeitnehmerschutzrechtliche Frage den § 72 heran – aber aus dem falschen Regelungswerk, verwechselt wurden das ArbeitnehmerInnenschutzgesetz (ASchG) und das Bundes-Bedienstetenschutzgesetz (B-BSG). Gleiche Nummer, anderer persönlicher Geltungsbereich, andere Behördenzuständigkeit.

Solche Verwechslungen sind gefährlich, weil die zitierte Bestimmung inhaltlich plausibel wirkt – bis man merkt, dass sie für den Betroffenen gar nicht gilt.

Was in RICI dagegen steht – Quellenverifikation: Jede Fundstelle wird gegen die konkrete Norm und ihre Geschäftszahl aufgelöst und verlinkt. Der Anker zeigt exakt auf das zitierte Gesetz. Damit ist die Verwechslung nicht in der flüssigen Prosa versteckt, sondern am nachprüfbaren Link erkennbar.

Fehlerklasse 3: Der richtige Rechtssatz zum falschen Sachverhalt

Manchmal stimmt die Rechtsnorm, aber nicht der Anwendungsbereich. In einem Testfall ging es um einen Tischlerbetrieb; ein Vergleichssystem beantwortete die Frage entlang der Vorschriften für Keramikmaler. Zwei Gewerbe, zwei Regelungsstränge – die Antwort war in sich schlüssig, aber am Fall vorbei.

Diese Klasse trifft besonders Anfragen mit komplexem Sachverhalt, bei denen der eigentliche Kern erst erkannt werden muss.

„War eine doch komplexe Frage aber die KI hat dennoch den Sinn verstanden.” — Jurist im öffentlichen Dienst

Was in RICI dagegen steht – Intent-Erkennung: RICI versucht zuerst, den tatsächlichen Sachverhalt und die einschlägige Rechtsmaterie zu bestimmen, bevor recherchiert wird. Passt eine Frage in keinen belegbaren österreichischen Rechtsbezug, bricht das System die Bearbeitung lieber ab, statt eine plausible, aber unpassende Antwort zu formulieren.

Fehlerklasse 4: Die Zukunft als Gegenwart – wenn eine Novelle zu früh „gilt”

Der lehrreichste Fall. Gefragt war, ob eine bestimmte gewerbliche Tätigkeit noch zulässig ist – das einschlägige Verbot war bereits beschlossen und kundgemacht, tritt aber erst Monate nach dem Fragezeitpunkt in Kraft. Ein Vergleichssystem behandelte das künftige Verbot als bereits geltendes Recht und verneinte pauschal – RICI erkannte anhand der fassungsversionierten Quelle, dass zum Fragezeitpunkt noch eine Bewilligung möglich war, und wies zugleich auf die kommende Rechtsänderung hin.

Die eigentliche Pointe betrifft aber unsere Prüfmethodik: Eine der KI-Prüfinstanzen hätte RICIs Antwort beinahe als „Halluzination” abgewertet – schließlich „wusste” das Prüfmodell aus seinem Training vom Verbot. Erst der von uns eingebaute Beweiszwang, jede Bewertung an der geöffneten Originalquelle zu belegen, korrigierte das Urteil. Nicht die Antwort war falsch, sondern der erste Reflex des Prüfers.

Was in RICI dagegen steht – Fassungsversionierung plus Beweiszwang: Zeitliche Geltung ist kein Nachgedanke, sondern Teil der Quelle selbst. Und weil jede Aussage an einer aufrufbaren Fundstelle hängt, lässt sich „gefühltes” gegen belegtes Recht prüfen – auf der Antwort- wie auf der Bewertungsseite.

Fehlerklasse 5: Ausländisches Recht erfinden statt verweigern

Wir haben bewusst eine Fangfrage gestellt, die auf deutsches Recht (BGB) abzielte, ohne österreichischen Bezug. Der bequeme Weg für ein Sprachmodell wäre, einfach loszuschreiben – Paragraphen klingen überall ähnlich souverän.

RICI hat den fehlenden österreichischen Rechtsbezug erkannt und die Beantwortung begründet verweigert, statt eine deutsche Rechtslage zu konstruieren. Das ist unspektakulär zu lesen und genau deshalb wertvoll: Eine ehrliche Nicht-Antwort ist einer erfundenen allemal vorzuziehen. (Wie die anderen Systeme mit dieser Frage umgingen, werten wir hier bewusst nicht aus – die Datenlage dazu ist uneinheitlich.)

Was in RICI dagegen steht – Scope-Prüfung vor der Recherche: Fragen ohne belegbaren österreichischen (oder von uns abgedeckten europäischen) Rechtsbezug werden nicht ins Blaue beantwortet. Lieber ein sauberer Abbruch mit Begründung als eine glatte Fiktion.

Fehlerklasse 6: Der teure Detailfehler – Vermögensschaden im Steuerrecht

Nicht jeder Fehler ist plump. Im Steuerrecht liegen die Risiken im Detail – etwa bei den Beschränkungen des Verlustausgleichs und der Frage, wie Verluste privat vorgetragen werden. Eine Feinheit hier übersehen heißt im Ernstfall: bares Geld verschenkt oder ein Bescheid, der nicht hält.

In genau diesem Terrain zeigte sich, wie fein die Grenze verläuft. Eine steuerrechtliche Nuance zur Verlustausgleichsoption wurde in unserem Testlauf von den verglichenen KI-Systemen und sogar von allen KI-Prüfgutachten übersehen – gefunden hat sie erst ein menschlicher Tester. Für uns die klarste Bestätigung unserer Kernbotschaft: KI-Recherche ist ein Werkzeug für Juristen, kein Ersatz für sie.

„Sehr gut, vollständig und richtig mit korrekten Quellen angeführt. Gerade bei den Beschränkungen des Verlustausgleichs gibt es einiges zu beachten und die KI hat diese Beschränkungen korrekt und verständlich dargestellt!” — Juristin im öffentlichen Dienst

Und unser eigener Fehler? Fall F05, offen erzählt

Es wäre unredlich, sechs fremde Fehlerklassen zu beschreiben und die eigenen zu verschweigen. In einem der 37 Fälle nannte RICI eine veraltete Umsatzgrenze zu § 45a BAO – 40.000 statt der seit der Novelle geltenden 100.000 Euro – und verlinkte dabei sogar die korrekte, aktuelle Norm. Der Zahlenwert stammte aus älterem Begleitmaterial, nicht aus der geltenden Fassung. Die Lehre steht so auch in unserem Benchmark-Report: Eine hohe Quellenzahl schützt nicht vor Einzelfehlern.

Entscheidend ist, was danach passiert. Dafür haben wir einen festen Prozess:

1. Automatisches Issue bei schlechtem Feedback. Jede negative Bewertung mit echter Begründung erzeugt automatisch ein Ticket, das KI-gestützt bearbeitet wird.
2. Ursachenanalyse. Wir prüfen, woran der Fehler liegt – und ob er überhaupt bei uns liegt.
3. Generalisierter Fix statt Overfitting. Liegt es an uns, bauen wir keinen Pflaster-Fix für den Einzelfall, sondern einen, der die ganze Fehlerklasse adressiert.

Im Fall F05 bedeutete das: ein zusätzlicher Kernnormen-Filter, der sicherstellt, dass Kennzahlen aus der aktuellen Fassung der maßgeblichen Norm übernommen werden – nicht aus alten Erläuterungen oder Nebenquellen, in denen der überholte Wert noch steht. Nicht „diese eine Zahl korrigiert”, sondern „diese Art von Fehler künftig verhindert”.

Was die Zahlen sagen – und was nicht

Über die 37 Fälle bewerteten die drei blinden KI-Prüfinstanzen 35 RICI-Antworten als richtig, zwei als teilweise richtig und keine als falsch (durchschnittlicher Rang 1,07 von 4). Bei der Quellen-Abdeckung erreichte RICI einen Composite-Wert von 0,753 gegenüber 0,605, 0,565 und 0,389 der drei Vergleichssysteme; von den vorab festgelegten Kernnormen zitierte RICI 79 % direkt in der Antwort, das stärkste Vergleichssystem 63 %.

Diese Zahlen stammen aus einem Vergleich, den wir selbst konzipiert und durchgeführt haben – kein unabhängiger Test. Und sie belegen keine Fehlerfreiheit: Fall F05 zeigt, dass auch ein gut belegtes System im Detail irren kann. Genau deshalb ist die eigentliche Absicherung nicht ein Gütesiegel, sondern der nachprüfbare Link.

FAQ

Halluziniert KI-Rechtsrecherche? Jedes Sprachmodell kann plausibel klingende, aber unzutreffende Aussagen erzeugen. Der Unterschied liegt darin, wie stark ein System auf verifizierte Quellen gebunden ist und ob es Fragen ohne belegbaren Rechtsbezug abbricht, statt sie zu erfinden. RICI hinterlegt jede Aussage mit einem aufrufbaren Deeplink, sodass Sie jede Angabe selbst gegenprüfen können.

Zitiert die KI immer die geltende Fassung? Das ist der häufigste Fehler generischer KI-Werkzeuge, weil ältere Rechtslagen im Trainingsmaterial überwiegen. RICI arbeitet auf fassungsgenau versionierten Rechtsquellen und liefert die zum Stichtag geltende Fassung samt fassungsgenauem RIS-Link. Prüfen sollten Sie sie trotzdem – der Link macht genau das in Sekunden möglich.

Ersetzt KI-Rechtsrecherche die juristische Prüfung? Nein. Unser Testlauf zeigt selbst, dass eine steuerrechtliche Feinheit erst einem menschlichen Tester auffiel, nachdem sie mehrere KI-Systeme und -Prüfinstanzen übersehen hatten. KI-Recherche beschleunigt die Vorarbeit und liefert belegte Fundstellen; die rechtliche Verantwortung bleibt beim Juristen.

Was passiert, wenn RICI einen Fehler macht? Jede negative Bewertung mit Begründung löst automatisch ein Ticket aus. Wir analysieren die Ursache und bauen, wenn der Fehler bei uns liegt, einen generalisierten Fix für die gesamte Fehlerklasse – wie beim veralteten § 45a-BAO-Betrag, der zu einem allgemeinen Kernnormen-Filter führte.

Nachprüfbare Links statt blindem Vertrauen

Die sechs Fehlerklassen haben eine gemeinsame Wurzel: Ein souverän formulierter Absatz sagt nichts über seine Belegbarkeit. Deshalb bauen wir RICI so, dass jede Aussage an einer öffentlichen, fassungsgenauen Fundstelle hängt – und geben unsere eigenen Fehler offen zu, statt Perfektion zu behaupten.

Mehr zur Methodik unseres Blindvergleichs lesen Sie in Teil 3 der Serie; die Stimmen unserer Testerinnen und Tester finden Sie in Teil 4. Was Tester an Zeitersparnis berichten — als Selbstauskunft gelabelt und konservativ gegengerechnet — lesen Sie in Teil 1.

Wollen Sie RICI selbst prüfen? Fordern Sie Ihren Beta-Zugang auf app.iurix.ai an und stellen Sie die Fragen, bei denen es in Ihrer Praxis wirklich auf die Fundstelle ankommt.