37 Rechtsfragen, vier Systeme, blinde Bewertung: unser Benchmark im Detail

Wer behauptet, eine KI beantworte Rechtsfragen zuverlässig, sollte es belegen können. Wir haben deshalb einen strukturierten Blindvergleich aufgesetzt: 37 österreichische und europäische Rechtsfragen, wortgleich an vier Systeme gestellt, von systemblinden Prüfinstanzen bewertet. Dieser Beitrag legt die Methodik offen – inklusive der Stellen, an denen RICI nicht vorne lag.

Vorweg das Wichtigste zur Einordnung: Der Benchmark wurde von uns selbst konzipiert und durchgeführt. Er ist kein unabhängiger Test einer neutralen Instanz. Was wir kontrollieren konnten, war die Fairness des Aufbaus – und die Nachprüfbarkeit jeder einzelnen Bewertung. Genau darum geht es hier.

Der Aufbau: gleiche Fragen, archivierte Antworten

Grundlage sind 37 Testfragen aus österreichischem Bundesrecht, Steuerrecht und Europarecht. Jede Frage wurde wortgleich über die offiziellen Produktoberflächen von vier Systemen gestellt – RICI und drei am österreichischen Markt verfügbaren KI-Rechtsrecherche-Systemen. Jede Antwort wurde vollständig archiviert: Antworttext, Quell-Links und Screenshots. Nichts davon lässt sich im Nachhinein schönen.

Für jede Frage haben wir vorab festgelegt, welche Belegquellen eine gute Antwort enthalten sollte – die sogenannte Ground Truth. Diese erwarteten Quellen stammen nicht aus einer einzelnen Meinung, sondern aus fünf bis sechs unabhängigen Recherchepfaden: mehreren öffentlich verfügbaren KI-Systemen plus menschlicher Prüfung, per Konsens gewichtet. Anschließend haben wir jede dieser Quellen live gegen das Rechtsinformationssystem des Bundes (RIS) verifiziert. So stand fest, woran sich eine Antwort messen lassen musste, bevor die erste Antwort bewertet wurde.

Zwei getrennte Achsen: Abdeckung und Korrektheit

Bewertet haben wir bewusst auf zwei Achsen, die nicht vermischt werden dürfen.

Die erste Achse ist die Quellen-Abdeckung: Deckt eine Antwort die vorab erwarteten Belegquellen ab? Das haben wir über ein deterministisches, mehrfach maschinell auditiertes Zitat-Matching gemessen – nicht nach Gefühl, sondern nach überprüfbarem Abgleich.

Die zweite Achse ist die juristische Korrektheit. Hier kommt der Kern des Aufbaus: Bewertet haben drei voneinander unabhängige, systemblinde KI-Prüfinstanzen (Claude Opus) – ausdrücklich keine menschlichen Juristen. Die Prüfinstanzen sahen nur anonymisierte Antworten, ohne zu wissen, welches System sie verfasst hatte. Sie urteilten nach eigener Rechtsauffassung und unter Beweiszwang: Wer eine Antwort als korrekt oder falsch einstufte, musste die tragende Quelle öffnen und belegen. Diese Offenlegung ist uns wichtig – eine KI, die andere KI-Antworten bewertet, ist etwas anderes als ein juristisches Gutachten, und das soll niemand verwechseln.

Zur Fairness: Für jedes Vergleichssystem haben wir den besten verfügbaren Lauf gewertet, für RICI stets nur den neuesten Produktlauf. Der Vergleich war damit methodisch zugunsten der Vergleichssysteme ausgelegt.

Die Ergebnisse

Über die 37 Fälle bewerteten die Blind-Prüfinstanzen 35 RICI-Antworten als „richtig”, 2 als „teilweise richtig” und keine einzige als „falsch” – bei einem durchschnittlichen Rang von 1,07 von 4.

Von den 111 Einzelvoten (37 Fälle × 3 Prüfinstanzen) entfielen 103 Erstplätze auf RICI, also 93 Prozent. In keinem einzigen Vergleich landete RICI auf Rang 3 oder 4 von vier Systemen.

Bei der Quellen-Abdeckung erreichte RICI einen Composite-Score von 0,753 gegenüber 0,605, 0,565 und 0,389 bei den drei Vergleichssystemen – rund 25 Prozent Vorsprung vor dem stärksten Vergleichssystem. Von den vorab festgelegten Kernnormen zitierte RICI 79 Prozent direkt in der Antwort, das stärkste Vergleichssystem 63 Prozent. Im Schnitt führte RICI 18,8 Quellen pro Antwort an.

Alle getesteten Systeme lieferten dabei überwiegend rechtlich vertretbare Antworten. Der wesentliche Unterschied lag nicht in „richtig gegen falsch”, sondern in der Tiefe und Nachprüfbarkeit der Belege.

Wo RICI nicht vorne lag

Ein Benchmark, der nur die eigenen Stärken zeigt, ist keiner. Deshalb die andere Seite:

Wir gewinnen nicht jeden Einzelfall. In rund einem Drittel der Fälle war bei der Quellen-Abdeckung mindestens ein Vergleichssystem gleichauf oder besser. Bei der juristischen Korrektheit blieb RICI zwar auch in diesen Fällen ohne Falsch-Urteil – aber „vorne” waren wir dort nicht.

Die hohe Zahl von durchschnittlich 18,8 zitierten Quellen ist ausdrücklich kein Präzisions-Argument. Breite und Präzision haben wir getrennt gemessen, damit Umfang nicht mit Rauschen verwechselt wird. Und bei der rohen Zitier-Präzision – also dem Anteil zitierter Quellen, die exakt zur erwarteten Ground Truth passen – liegt das stärkste Vergleichssystem vor RICI. Wer viele Quellen anführt, führt auch mehr Quellen an, die im engsten Sinn nicht zur Musterlösung zählen. Für die juristische Praxis ist Breite mit nachprüfbaren Links oft wertvoller als maximale Trefferquote auf einer vordefinierten Liste – aber das ist eine Abwägung, keine Überlegenheit auf allen Achsen.

Und wir haben einen eigenen Fehler im Testfeld: In genau einem Fall nannte RICI einen veralteten Gesetzesbetrag – 40.000 statt der geltenden 100.000 Euro Umsatzgrenze des § 45a BAO – und verlinkte dabei sogar die korrekte aktuelle Norm. Die Lehre steht im Benchmark-Report selbst: Eine hohe Quellenzahl schützt nicht vor Einzelfehlern. KI-Recherche mit nachprüfbaren Links ist ein Werkzeug für Juristen, kein Ersatz für die juristische Prüfung.

Wir haben den Benchmark gegen uns selbst gehärtet

Damit die Zahlen belastbar sind, mussten wir zuerst unsere eigene Auswertung prüfen. Eine komplette Bewertungsrunde haben wir verworfen und wiederholt, weil ein Textkürzungs-Fehler ausgerechnet die Antworten eines Vergleichssystems benachteiligt hätte. Das automatische Zitat-Matching wurde mehrfach auditiert – dabei wurden auch für ein Vergleichssystem über 169 zunächst nicht erfasste Quellen-Links nachgetragen. Kurios: Ein vermeintliches Foto-Finish bei der Quellen-Abdeckung entpuppte sich als Zählfehler zu RICIs eigenen Ungunsten; nach der Korrektur wuchs der Vorsprung.

Der Aufbau ist keine Marketing-Simulation. Er ist ein Testrahmen, den wir auch dann korrigiert haben, wenn die Korrektur zulasten des eigenen Ergebnisses ging.

Ein Fall, der den Unterschied zeigt

Manchmal sagt ein einzelner Fall mehr als eine Scorecard. Fall R01: Eine befristet beschäftigte, schwangere Arbeitnehmerin meldet intern einen Datenschutzverstoß – welcher Kündigungsschutz greift?

Die juristisch vollständige Antwort hat drei Schutzsäulen: den Mutterschutz, die Befristungsproblematik und den Schutz nach dem HinweisgeberInnenschutzgesetz (HSchG). RICI war das einzige System im Testfeld, das alle drei erkannte – die Vergleichssysteme übersahen die Whistleblower-Säule. In der Praxis wäre genau diese Lücke ein Haftungsrisiko. Alle 15 in der RICI-Antwort zitierten Quellen waren mit einem öffentlichen Deeplink hinterlegt und damit unmittelbar nachprüfbar.

Nachprüfbarkeit ist keine Fußnote

Der eigentliche Differenzierer steckt weniger in einer einzelnen Zahl als im Prinzip dahinter: Jede zitierte Quelle in einer RICI-Antwort ist mit einem fassungsgenauen, öffentlichen Deeplink hinterlegt – über RIS-ELI, EUR-Lex/CELEX oder die RIS-Judikatur. Eine zitierte Fassung führt also zu exakt dieser Fassung, nicht nur zum Gesetz allgemein.

Das macht den Benchmark selbst überprüfbar: Wer eine RICI-Antwort anzweifelt, öffnet den Link und kontrolliert. Für ein Werkzeug, dessen Ergebnisse in Schriftsätze und Gutachten einfließen sollen, ist diese Nachprüfbarkeit keine Nettigkeit, sondern Grundbedingung.

Häufige Fragen zum Benchmark

Ist der Benchmark unabhängig? Nein. Wir haben ihn selbst konzipiert und durchgeführt. Was wir offengelegt haben, ist der komplette Aufbau: gleiche Fragen über die offiziellen Oberflächen aller Systeme, vollständige Archivierung, vorab festgelegte Ground Truth aus mehreren unabhängigen Recherchepfaden und eine Fairness-Regel, die den Vergleichssystemen ihren jeweils besten Lauf zubilligt.

Wer hat die Antworten bewertet? Die juristische Korrektheit bewerteten drei voneinander unabhängige, systemblinde KI-Prüfinstanzen (Claude Opus), die nur anonymisierte Antworten sahen und ihr Urteil belegen mussten – keine menschlichen Juristen. Die Quellen-Abdeckung wurde über ein deterministisches, mehrfach auditiertes Zitat-Matching gemessen.

Gewinnt RICI denn jede Frage? Nein. In rund einem Drittel der Fälle war bei der Quellen-Abdeckung mindestens ein Vergleichssystem gleichauf oder besser, und bei der rohen Zitier-Präzision liegt das stärkste Vergleichssystem vor uns. RICIs Stärke liegt in der Breite der abgedeckten Kernnormen und der durchgängigen Nachprüfbarkeit – nicht auf jeder einzelnen Messachse.

Kann ich die Ergebnisse selbst kontrollieren? Ja, das ist der Sinn der Deeplinks. Jede zitierte Quelle ist mit einem fassungsgenauen öffentlichen Link (RIS-ELI, EUR-Lex/CELEX, RIS-Judikatur) hinterlegt. Sie prüfen jede Antwort an der Primärquelle – ohne uns glauben zu müssen.

Selbst testen

Zahlen aus einem Benchmark ersetzen nicht die eigene Erfahrung mit den eigenen Fragen. RICI befindet sich in einer geschlossenen Beta. Wenn Sie österreichische Rechtsfragen aus Ihrer Praxis gegenprüfen möchten, fragen Sie einen Beta-Zugang auf app.iurix.ai an – und bilden Sie sich Ihr eigenes Urteil an den Fällen, die für Ihre Arbeit zählen.

---

Dieser Beitrag ist Teil 3 unserer Serie zur KI-Rechtsrecherche. Siehe auch: Was Kanzleien mit KI-Recherche wirklich an Zeit sparen, Woran KI-Rechtsrecherche scheitert: sechs Fehlerklassen und Was unsere Tester sagen.