KI als Black Box: Was das für High-Stakes-Einsätze bedeutet

KI-Modelle sind Black Boxes, weil niemand – auch die Entwickler nicht – heute lückenlos nachvollziehen kann, wie ein Sprachmodell sein komprimiertes Wissen in einer konkreten Ausgabe abruft. Für dein Unternehmen heisst das konkret: Bei High-Stakes-Einsätzen wie medizinischen Diagnosen, Kreditentscheiden oder juristischer Risikoeinschätzung setzt du ein System ein, das mehr Daten gesehen hat als jeder Mensch je verarbeiten könnte – aber seine Arbeit nicht zeigen kann.

Mensch vs. LLM: zwei Lernsysteme, zwei Fehlerarten

Geoffrey Hinton, einer der Begründer des Deep Learning, hat den fundamentalen Unterschied zwischen menschlichem und künstlichem Lernen so präzise wie kaum jemand sonst beschrieben. Das menschliche Gehirn lernt über rund zwei Milliarden Lebenssekunden mit einer relativ kleinen Datenmenge. Ein LLM lernt in wenigen Trainingsläufen mit einem Vielfachen dieser Datenmenge – bei deutlich weniger Verbindungen als das Gehirn besitzt.

Aus diesem Missverhältnis folgt laut Hinton ein inverser Fehlertyp: Menschen scheitern an zu wenig Daten – wir unterabtasten die Wirklichkeit und ziehen voreilige Schlüsse. LLMs scheitern am Gegenteil: Sie müssen eine riesige Datenmenge in vergleichsweise wenige Parameter pressen und komprimieren dabei zwangsläufig Wissen zu Mustern, deren innere Logik sich der direkten Beobachtung entzieht.

Until we crack the packing itself, every high-stakes deployment is a bet on a system that has seen more than any human… and still can't show its work.

Das Black-Box-Risiko: Warum niemand das Abrufen erklären kann

Die Kompression selbst ist das Problem. Ein Modell speichert kein durchsuchbares Archiv von Fakten, sondern statistische Muster, die beim Abruf neu zusammengesetzt werden. Welcher dieser Muster-Pfade in einer konkreten Situation aktiviert wird, lässt sich mit heutigen Methoden nicht vollständig zurückverfolgen. Das gilt selbst in Bereichen, in denen man es am wenigsten erwarten würde – etwa in der IT-Sicherheit, wie die Diskussion rund um die Abschaltung von Fable 5 und die Abhängigkeit europäischer Unternehmen von US-KI zeigt.

High-Stakes-Einsätze: Spital, Gericht, Kreditvergabe

Der EU AI Act definiert in Art. 6 explizit Hochrisiko-Systeme – dazu zählen unter anderem KI in der Medizin, in der Strafjustiz, im Bildungswesen und bei kritischer Infrastruktur. Für Schweizer Unternehmen mit EU-Bezug ist diese Klassifizierung relevant; zusätzlich verlangt das revidierte Datenschutzgesetz (revDSG) Transparenz bei automatisierten Einzelentscheiden, die eine Person erheblich betreffen.

• Medizinische Diagnose- und Triage-Systeme
• Gerichtliche Risikoprognosen und Rückfallbewertungen
• Kreditvergabe, Scoring und Versicherungsentscheide
• Autonome Steuerung kritischer Infrastruktur

Agenten als Entscheider verschärfen das Problem

SAP prognostiziert, dass bis 2028 rund 60 Prozent geschäftskritischer Entscheidungen von KI-Agenten getroffen oder massgeblich vorbereitet werden. Was ein Agent autonom entscheidet, entzieht sich noch stärker der Kontrolle als eine einzelne Modellantwort – die Black Box wird zur handelnden Instanz. Gleichzeitig zeigt eine geringe Lücke bei der Agenten-Adoption, dass die meisten Unternehmen mit der Governance dieser Systeme noch am Anfang stehen.

Handlungsfelder für Schweizer KMU

1. Hochrisiko-Klassifizierung nach EU AI Act Art. 6 systematisch für alle eingesetzten Modelle durchführen
2. Human-in-the-loop verbindlich für alle High-Stakes-Entscheide verankern – kein autonomer Abschluss ohne menschliche Freigabe
3. Dokumentations- und Transparenzpflichten nach revDSG bei automatisierten Einzelentscheiden erfüllen
4. Modell-Provenienz prüfen und bewusst zwischen offenen und geschlossenen Architekturen wählen
5. Externe Audits, Red-Teaming und regelmässige Überprüfung der Modell-Outputs etablieren

Fazit

Das Black-Box-Problem lässt sich heute nicht wegregulieren und nicht wegtrainieren – es ist eine strukturelle Eigenschaft komprimierten Wissens. Was du als Entscheider steuern kannst, ist der Kontext: wo du Black-Box-Systeme einsetzt, mit welcher menschlichen Kontrolle, und mit welcher Dokumentation. Genau diese Governance-Arbeit übernehmen wir bei KI-Outsourcing als externe Abteilung – damit High-Stakes-KI bei dir kein Blindflug bleibt.