Human-in-the-Loop praktisch definieren: Prüfpunkte, die halten

Human-in-the-Loop heißt: An definierten Stellen im Workflow entscheidet ein Mensch, bevor etwas Wirkung entfaltet. Die praktische Frage ist nicht ob, sondern wo und wie – denn ein schlecht platzierter Prüfpunkt fängt keine Fehler ab, er erzeugt nur Klickarbeit.

Das Problem mit dem pauschalen Freigabe-Button

Wenn Menschen jeden einzelnen Fall abnicken müssen, passiert Vorhersehbares: Nach zwei Wochen wird durchgewinkt. Die Freigabe existiert formal, prüft aber nichts mehr. Wirksame Kontrolle entsteht durch Selektion – Menschen sehen die Fälle, bei denen ihre Aufmerksamkeit den Unterschied macht.

Die drei Fragen für jeden Prüfpunkt

1. Was ist die Konsequenz eines Fehlers?

Ordnen Sie jeden Workflow-Schritt einer Konsequenzklasse zu:

Intern korrigierbar (z. B. ein falsch vorsortiertes Dokument): Stichprobe genügt.
Nach außen sichtbar (z. B. eine Kundenantwort): Freigabe vor Versand, immer.
Rechtlich oder finanziell bindend (z. B. Buchung, Bestellung, Vertragszusage): Freigabe plus Vier-Augen-Regel oder Betragsgrenze.

2. Wann wird eskaliert statt vorbereitet?

Definieren Sie Auslöser, bei denen der Workflow keinen Entwurf erstellt, sondern den Fall direkt an einen Menschen gibt: niedrige Erkennungssicherheit, unbekannte Gegenpartei, ungewöhnliche Beträge, emotionale oder eskalierende Sprache, Rechtsthemen. Diese Liste ist Betriebswissen – sie wächst mit jedem Grenzfall und gehört dokumentiert.

3. Was sieht die prüfende Person?

Eine Freigabe ist nur so gut wie ihre Grundlage. Der Prüfbildschirm braucht drei Dinge nebeneinander: das Ergebnis, die Quellen je Aussage und den Grund, warum der Fall zur Prüfung kam. Wer erst suchen muss, um zu prüfen, prüft bald nicht mehr.

Woran Sie merken, dass die Prüfpunkte richtig sitzen

Die Korrekturquote an den Prüfpunkten ist größer als null – sonst prüfen Sie an der falschen Stelle – und deutlich unter der Hälfte – sonst ist der Workflow noch nicht reif.
Eskalierte Fälle kommen mit Kontext an, nicht als nackte Weiterleitung.
Das Team kann in einem Satz sagen, welche Fälle nie automatisch laufen.
Die Liste der Eskalationsauslöser wurde seit Einführung mindestens einmal erweitert.

Einordnung: menschliche Aufsicht im EU AI Act

Für bestimmte Systeme verlangt der EU AI Act ausdrücklich wirksame menschliche Aufsicht (Art. 14). Ob und wie das Ihren Anwendungsfall betrifft, gehört in die juristische Prüfung. Unabhängig von der Einstufung gilt: Ein Workflow mit dokumentierten Prüfpunkten und Eskalationsregeln ist auch die bessere Betriebsentscheidung.

Checkliste zum Mitnehmen

Jeder Schritt hat eine Konsequenzklasse.
Nach außen wirksame Schritte haben eine Freigabe vor Wirkung.
Eskalationsauslöser sind schriftlich definiert.
Prüfende sehen Ergebnis, Quellen und Prüfgrund nebeneinander.
Korrektur- und Eskalationsquoten werden beobachtet.

Wie ein solcher Workflow insgesamt entsteht, zeigt der Leitfaden Von der Idee zum produktiven Workflow. Wenn Sie Prüfpunkte für einen konkreten Prozess entwerfen möchten: KI-Workflows von EVORI.