KI-Agenten kontrollieren: Warum die Prüfschicht deterministisch sein muss
Auf den Punkt
KI-Agenten produzieren immer mehr Arbeit – geprüft werden muss trotzdem deterministisch. Das Zürcher Startup Klarent zeigt mit seiner Seed-Runde, wie 'deterministic autonomy' funktioniert: Die KI schreibt Tests, ausgeführt werden sie deterministisch. Für Schweizer KMU heisst das: feste Regeln, Konfidenzschwellen, menschliche Eskalation – und genau diese Kontrollschicht lässt sich outsourcen.
Der Engpass heisst Prüfen, nicht Produzieren
Wenn KI-Agenten Rechnungen, Verträge, Analysen und Entscheidungsvorlagen erstellen, verschiebt sich die knappe Ressource vom Produzieren zum Beurteilen. Vom Ausführen zum Beurteilen beschreibt genau diesen Wechsel: Wer nur auf mehr Output setzt, übersieht, dass jede zusätzliche automatisierte Leistung auch geprüft werden muss. Genau hier setzt das Prinzip der 'deterministic autonomy' an, mit dem das Zürcher Startup Klarent im Oktober 2026 eine Seed-Runde über €7.13 Mio. abgeschlossen hat – Kunden sind unter anderem NZZ, Sixt und JD Sports.
€7.13 Mio.
Seed-Runde Klarent, Oktober 2026
Warum die Kontrolle nicht wieder einer KI überlassen werden darf
Der gefährlichste Fehler ist, die Prüfung einem zweiten KI-Agenten zu geben, der den ersten 'korrigiert'. Wenn die Prüfschicht selbst halluziniert, vertraust du einer falschen Kontrolle – der schlimmste Ausfallmodus. Deterministisch bedeutet: gleicher Input, gleicher Output, reproduzierbar und auditierbar. Die Frage, wer bei Abweichungen entscheiden darf, klärst du am besten mit einer Entscheidungsmatrix.
Was heisst deterministisch konkret?
- Feste Geschäftsregeln: Summen müssen stimmen, Totale müssen aufgehen.
- Konfidenzschwellen: Unterhalb eines festgelegten Werts geht der Fall an einen Menschen.
- Human-in-the-Loop für den Ausnahmefall: Menschen prüfen nur Eskalationen, nicht jeden Einzelfall.
- Auditierbarkeit: Jede Entscheidung ist reproduzierbar und nachvollziehbar.
Prüfschicht als Outsourcing-Baustein für Schweizer KMU
Genau diese Kombination – Agent plus deterministische Prüfschicht plus menschliche Eskalation – lässt sich als externer Service einkaufen, ohne eigenes KI-Team. Wer nur den Agenten baut und die Prüfschicht vergisst, kauft sich ein Risiko, keinen Nutzen. Für Schweizer KMU mit Abacus, Bexio oder M365 im Hintergrund heisst das: Die Prüfregeln müssen zu deinen Stammdaten und Prozessen passen, und die Datenhaltung sollte revDSG-konform bleiben. Wie viel menschliche Kontrolle wirklich nötig ist, zeigt die Klarna-Lektion.
Praxisvergleich: Welche Prüfschicht passt zu deinem Risikoprofil?
- Nur Agent, keine Prüfschicht
- Schnell, aber unkontrolliert. Fehler fallen spät auf, Vertrauen leidet.
- KI prüft KI
- Skaliert, aber Prüfschicht kann halluzinieren. Kein Audit-Trail.
- Deterministische Regeln + Konfidenzschwellen
- Reproduzierbar, auditierbar. Regeln sind aber initial aufwendig.
- Deterministische Prüfschicht + Human-in-the-Loop (Outsourcing)
- Klare Eskalation, kein eigenes Team nötig. Bestes Verhältnis aus Kontrolle und Aufwand.
Der teuerste Fehler
Vertraue niemals einer Prüfschicht, die selbst nicht deterministisch ist. Wenn die KI ihre eigene Kontrolle 'korrigiert', hast du keine Kontrolle mehr, sondern nur noch eine zweite Meinung mit gleichen Schwächen.
Der nächste Schritt ist selten der Bau einer eigenen Prüfschicht. Meist beginnt man mit einem klar abgegrenzten Agenten, definiert die kritischen Regeln und lagert die Eskalation an einen externen Dienstleister aus. So behältst du die Kontrolle, ohne ein eigenes KI-Team aufzubauen.
Häufige Fragen
- Warum sollte die Prüfschicht bei KI-Agenten deterministisch sein?
- Weil nur eine deterministische Schicht reproduzierbar und auditierbar ist. Gleicher Input führt zum gleichen Output – so können Fehler nicht durch eine zweite KI 'wegkorrigiert' werden.
- Was bedeutet 'deterministic autonomy' bei Klarent?
- Die KI schreibt den Testcode, ausgeführt wird er aber deterministisch – nie von der KI selbst. So bleibt die Prüfung nachvollziehbar, während die Erstellung automatisiert ist.
- Wie setze ich Human-in-the-Loop richtig ein, ohne alles manuell zu prüfen?
- Du definierst feste Regeln und Konfidenzschwellen. Nur Fälle unterhalb der Schwelle oder mit Regelverstössen gehen an einen Menschen – der Rest läuft automatisch durch.
- Kann ich die Prüfschicht outsourcen, wenn ich kein eigenes KI-Team habe?
- Ja. Die Kombination aus Agent, deterministischer Prüfschicht und menschlicher Eskalation lässt sich als externer Service einkaufen. Wichtig ist, dass der Anbieter die Regeln zu deinen Prozessen und Systemen passt.
- Welche Rolle spielt revDSG bei der Prüfung von KI-Agenten?
- Die Prüfung selbst verarbeitet oft Personendaten. Deshalb müssen die Regeln und die Datenhaltung revDSG-konform sein, etwa durch klare Zugriffsrechte und Protokollierung.
Quellen
Chris Jon Graf · KI-Stratege & CEO
Seit über 15 Jahren baut Chris Jon Graf produktive Schweizer Softwareplattformen und berät Geschäftsleitungen beim strategischen Einsatz von Künstlicher Intelligenz. Möchten Sie dieses Thema für Ihr Unternehmen einordnen?