353 Bewertungen, jede kritische einzeln geprüft: Was unsere Tester sagen – und was wir daraus gemacht haben

Eine Bewertung von 3 von 10 Sternen ist für uns kein Ärgernis, sondern ein Arbeitsauftrag. Denn jede kritische Rückmeldung mit einer echten Begründung löst bei uns denselben Prozess aus: Ein Jurist liest sie, prüft den zugrunde liegenden Fall und entscheidet, ob RICI danebenlag – und wenn ja, warum.

Über die Beta-Phase sind so 353 Bewertungen von 29 externen Testern zusammengekommen. Dieser Beitrag legt offen, was in diesen Rückmeldungen steht, wie wir sie ausgewertet haben und welche konkreten Änderungen daraus entstanden sind. Kein kuratiertes Best-of, sondern der Feedback-Kreislauf inklusive der Fehler, die uns gemeldet wurden.

Die Datenbasis – und wie wir sie bereinigt haben

Zunächst die Zahlen ohne Beschönigung:

• 353 Bewertungen von 29 externen Testern
• Durchschnitt 8,77 von 10, Median 10
• 84,4 % der Bewertungen liegen bei mindestens 8 von 10

Wichtiger als der Schnitt ist, wie wir ihn errechnet haben. In die Statistik fließen ausschließlich externe Tester ein. Interne Accounts – unser eigenes Team – haben wir ebenso herausgerechnet wie gesellschafternahe Zugänge, etwa den Account unserer eigenen Kanzlei-Gesellschafter. Eine positive Bewertung aus dem eigenen Haus ist kein Beleg für Produktqualität, sondern ein Rauschsignal. Aus demselben Grund veröffentlichen wir keine Testimonials aus diesem Kreis, selbst wenn sie inhaltlich stark wären.

Diese Bereinigung kostet uns rechnerisch etwas – sie macht die verbleibenden Zahlen aber belastbar.

Was passiert, wenn jemand schlecht bewertet

Der eigentliche Wert steckt nicht im Durchschnitt, sondern in der Fehlerbehandlung. Unser Prozess hat drei Schritte, und wir halten ihn bewusst frei von Einzelfall-Kosmetik:

1. Automatisches Issue bei schlechtem Feedback. Jede negative Bewertung mit einer nachvollziehbaren Begründung erzeugt automatisch ein internes Ticket, das anschließend – KI-gestützt, aber juristisch kontrolliert – bearbeitet wird.
2. Ursachenanalyse. Wir prüfen, woran der Fehler liegt – und ob er überhaupt bei uns liegt. Ein Teil der Meldungen geht auf mehrdeutige Fragestellungen zurück, nicht auf einen Systemfehler; das schreiben wir dann auch so.
3. Generalisierter Fix statt Overfitting. Liegt der Fehler bei uns, beheben wir ihn nicht punktuell für den einen Fall, sondern so, dass die gesamte Fehlerklasse verschwindet.

Der dritte Schritt ist der entscheidende. Es wäre einfach, eine einzelne Frage nachträglich „richtig” zu machen. Uns geht es darum, dass derselbe Fehlertyp bei keiner künftigen Anfrage mehr auftritt.

Drei gemeldete Fehler, behoben und nachgeprüft

Drei von Testern gemeldete Fehler haben diesen Prozess vollständig durchlaufen – vom Ticket bis zur erneuten Verifikation gegen die Produktivversion.

Ein fehlender Kollektivvertrag. Ein Tester fragte nach dem Kollektivvertrag für die Gastronomie in Wien – und RICI hatte diesen KV zu diesem Zeitpunkt schlicht noch nicht im Korpus. Statt zu improvisieren, haben wir den fehlenden Kollektivvertrag binnen Tagen nachgeliefert und die ursprüngliche Frage anschließend im Re-Run gegen die neue Datenbasis erneut geprüft.

Eine veraltete Gesetzesfassung. In einem anderen Fall stützte sich eine Antwort auf eine nicht mehr aktuelle Fassung von § 5 ASVG. Der Fix war kein Einzeleingriff, sondern ein Re-Ingest der betroffenen Norm, sodass RICI die geltende Fassung zog. Auch hier wurde der Fall nach dem Fix erneut durchlaufen und verifiziert.

Der dritte behobene Fall lief nach demselben Muster ab. In allen drei Fällen ging an die betroffenen Tester eine „behoben”-Rückmeldung – nicht als Höflichkeit, sondern weil ein gemeldeter Fehler erst dann geschlossen ist, wenn die ursprüngliche Frage neu und korrekt beantwortet wird.

Diese Ehrlichkeit hat eine Grenze, die wir offen benennen: Eine hohe Quellenzahl schützt nicht vor Einzelfehlern. KI-Recherche mit nachprüfbaren Links ist ein Werkzeug für Juristen – kein Ersatz für die juristische Prüfung.

Die häufigsten Wünsche – und was wir daraus gebaut haben

Auffällig war, wie konsistent sich die Wünsche der Tester bündelten. Drei Themen dominierten: mehr Landesrecht, größere Judikaturtiefe und Tempo. Genau daran arbeitet der laufende Ausbau, mit dem wir RICI von fünf auf neun Rechtsquellen erweitern – Landesrecht, Gesetzesmaterialien sowie EuGH- und EGMR-Judikatur kommen hinzu. Das ist kein Zufall, sondern die direkte Konsequenz aus dem, was die Tester gemeldet haben.

Beim Thema Tempo lohnt eine ehrliche Einordnung: Manche Tester wünschen sich schnellere Antworten – und wir arbeiten daran. Die meisten sagen aber klar: Lieber in drei Minuten eine richtig gute, vollständige und einfach prüfbare Antwort als in dreißig Sekunden eine schlechte, unvollständige oder schwer überprüfbare. Das deckt sich mit unserem Anspruch: KI soll nicht nur Zeit sparen – sie soll bessere Ergebnisse in kürzerer Zeit liefern, in genau dieser Reihenfolge.

Mehr zu den Fehlerklassen selbst lesen Sie in Teil 2 unserer Serie; die methodische Basis des Leistungsvergleichs steht in Teil 3.

Was die Tester sagen

Wir nennen bewusst keine Namen. Alle Stimmen erscheinen anonym mit Rollenangabe – das erspart Freigabeschleifen und rückt die Aussage vor die Person.

Aus Rechtsanwaltskanzleien

„Mein Team findet das Programm großartig – auch im Vergleich zu den etablierten Mitbewerbern, die wir im Einsatz haben bzw. getestet haben.”

— Partner einer auf Arbeitsrecht spezialisierten Rechtsanwaltskanzlei, Wien

Aussagekräftiger als jedes Wort ist das Nutzungsverhalten der aktivsten Kanzlei in unserem Testfeld. Diese Wiener Kanzlei setzt RICI seit Ende März laufend in der Praxis ein: 148 Recherchen, davon 115 bewertet – im Schnitt 9,2 von 10, Median 10, 90,4 % der Bewertungen bei mindestens 8. Diese Zahlen entstehen nicht in einer Testsituation, sondern im täglichen Mandatsbetrieb.

Aus der Steuerberatung

„Das bestärkt meine Ansicht im Beschwerdeverfahren.”

— Steuerberater und Kanzleiinhaber, Wien

Ein Steuerberater berichtet, RICI als schnelle Zweitmeinung zu nutzen – „Hätte ich genauso gesehen und wollte es kurz querchecken.” Aus der Personalverrechnung kam ein Hinweis, der den praktischen Nutzen gut fasst: Ein Ergebnis sei ohne Nachbearbeitung direkt als Anfragebeantwortung an Klienten verwendbar gewesen. Zeitersparnis-Angaben in solchen Rückmeldungen sind Selbstauskünfte der Tester – wir messen sie nicht gegen andere Systeme.

Aus dem öffentlichen Dienst

„Sehr gut, vollständig und richtig mit korrekten Quellen angeführt. Gerade bei den Beschränkungen des Verlustausgleichs gibt es einiges zu beachten und die KI hat diese Beschränkungen korrekt und verständlich dargestellt!”

— Juristin im öffentlichen Dienst

„War eine doch komplexe Frage aber die KI hat dennoch den Sinn verstanden.”

— Jurist im öffentlichen Dienst

Eine Juristin im öffentlichen Dienst hob die Vollständigkeit im Verfahrensrecht hervor: „Sehr gute Antwort – vollständig und verfahrensrechtlich gut erklärt.” Gerade im fehlerteuren Verfahrensrecht ist das ein belastbares Signal.

Zwei Fälle aus der Praxis

Zwei Rückmeldungen gingen über die reine Produktbewertung hinaus, weil sie einen echten Anwendungsfall beschreiben.

Aus einer österreichischen Bundesbehörde: Die juristischen Mitarbeiter seien vom Rechercheergebnis äußerst begeistert gewesen. Und ein regionaler Wirtschaftskammer-Funktionär schilderte, wie er mit einer RICI-Recherche einem von einer Gesetzesänderung betroffenen Betrieb helfen konnte, sein Geschäftsmodell weiterhin abzusichern. Beide Fälle zeigen, wofür RICI gedacht ist: nicht als Spielerei, sondern als Werkzeug in einer konkreten juristischen Entscheidung.

Häufige Fragen

Werden wirklich alle Bewertungen ausgewertet? Jede der 353 Bewertungen fließt in die Statistik ein. Einzeln juristisch geprüft wird jede kritische Rückmeldung mit einer inhaltlichen Begründung – sie erzeugt automatisch ein Ticket, das ein Jurist bearbeitet. Reine Sterne ohne Begründung zählen in die Zahlen, lösen aber keine Einzelanalyse aus.

Sind die guten Bewertungen nicht einfach von Ihrem eigenen Umfeld? Nein – genau das haben wir ausgeschlossen. Interne Accounts und gesellschafternahe Zugänge sind aus allen genannten Zahlen herausgerechnet. Die 353 Bewertungen stammen ausschließlich von 29 externen Testern.

Was passiert, wenn RICI einen Fehler macht? Der Fall wird analysiert, und falls der Fehler bei uns liegt, beheben wir ihn generalisiert – also für die gesamte Fehlerklasse, nicht nur für die eine Frage. Anschließend prüfen wir die ursprüngliche Anfrage im Re-Run erneut gegen die Produktivversion. Drei so gemeldete Fehler sind auf diese Weise bereits behoben und nachverifiziert.

Fehlt eine Rechtsquelle, die ich brauche? Möglich – und dann sagt RICI das, statt zu improvisieren. Der laufende Ausbau von fünf auf neun Rechtsquellen geht direkt auf die häufigsten Tester-Wünsche zurück: mehr Landesrecht, mehr Judikaturtiefe, mehr Tempo.

RICI selbst testen

Sie wollen sich ein eigenes Bild machen, statt sich auf fremde Bewertungen zu verlassen? Genau dafür ist die Beta da. Fordern Sie Ihren Beta-Zugang auf app.iurix.ai an – und stellen Sie RICI eine Frage aus Ihrer eigenen Praxis. Ihre Bewertung durchläuft denselben Prozess, den dieser Beitrag beschreibt.

Wir planen außerdem eine laufend aktualisierte Erfahrungen-Seite, auf der neue Tester-Stimmen und Kennzahlen fortlaufend einfließen. Dieser Beitrag ist die Momentaufnahme – der Feedback-Kreislauf läuft weiter.

Teil 4 von 4 unserer Serie zur KI-Rechtsrecherche. Zurück zum Anfang: Zeitersparnis, ehrlich gerechnet.