In einem Gespräch letzte Woche über ein KI-System für Prüfarbeit ist mir ein einzelnes Wort aufgefallen. Nicht Bewertung. Erstbewertung.
Das klingt nach vorsichtiger Formulierung. Es ist etwas anderes.
Nicht weil jemand sich absichern wollte. Nicht weil das System weniger könnte. Sondern weil in diesem einen Wort steckt, wessen Name am Ende unter dem Ergebnis steht.
Der Unterschied lässt sich ausrechnen.
Nimm zweihundert Prüfpunkte. Das System markiert fünfzehn davon als auffällig.
In der einen Variante geht der Ingenieur trotzdem durch alle zweihundert. Das System steuert nur, wo er zuerst und wie tief hinschaut. Es hat die Reihenfolge verändert, nicht die Verantwortung.
In der anderen Variante schaut er sich die fünfzehn an und hakt den Rest ab. Damit sind einhundertfünfundachtzig Prüfpunkte faktisch vom System freigegeben — ohne dass jemals jemand entschieden hätte, dass es das darf.
Beide Varianten sehen im Betrieb identisch aus. Dieselbe Oberfläche, dieselbe Ausgabe, dieselben fünfzehn Markierungen.
Auffallen kann der Übergang deshalb nicht. Er passiert nie durch einen Beschluss. Er passiert durch Gewöhnung. Im dritten Monat lag das System immer richtig, und die restlichen einhundertfünfundachtzig durchzusehen fühlt sich an wie verlorene Zeit.
Die Korrektur ist keine juristische, sondern eine bauliche. Das System liefert kein Gesamturteil, sondern je Markierung eine Begründung. Es zeigt, wo es sich unsicher ist. Und es dokumentiert, was ein Mensch daraus gemacht hat. Kein zusätzliches Werkzeug, keine neue Norm, keine Freigabe von außen — nur eine Entscheidung, die vor dem Bau fällt statt nach dem ersten Vorfall.
Einen Nebeneffekt erwähne ich noch, weil er oft übersehen wird: Die KI-Verordnung kennt für den Einstufungsweg über Anhang III eine Ausnahme für Systeme, die eine menschliche Bewertung lediglich vorbereiten. Ob dieser Weg für euer System überhaupt einschlägig ist, ist eine Einzelfallprüfung — die Einstufung als Sicherheitsbauteil eines Produkts läuft anders. Der Punkt bleibt trotzdem: Die Unterscheidung zwischen vorbereitend und entscheidend war dem Gesetzgeber wichtig genug, um sie in den Verordnungstext zu schreiben.
Bei einem Prüfvorgang im Monat merkt das niemand. Bei zweihundert im Jahr ist es der Unterschied zwischen einem Werkzeug, das eure Prüfer schneller macht, und einer stillen Verlagerung der Verantwortung auf ein System, das dafür nie ausgelegt war.
Vorsortieren und bewerten klingt nach demselben System mit anderer Wortwahl.
Dazwischen liegt die Frage, wessen Name unter dem Ergebnis steht.
Bei welchem eurer geplanten KI-Anwendungsfälle wäre nach der Einführung noch klar, wer die Entscheidung getroffen hat?