KI als Black Box: Was das für High-Stakes-Einsätze bedeutet
Auf den Punkt
KI-Modelle sind Black Boxes, weil niemand nachvollziehen kann, wie ein Sprachmodell sein komprimiertes Wissen in einer konkreten Antwort abruft. Bei High-Stakes-Einsätzen wie Diagnosen oder Kreditentscheiden ist das ein reales Haftungs- und Governance-Risiko – nicht nur ein technisches Detail.
KI-Modelle sind Black Boxes, weil niemand – auch die Entwickler nicht – heute lückenlos nachvollziehen kann, wie ein Sprachmodell sein komprimiertes Wissen in einer konkreten Ausgabe abruft. Für dein Unternehmen heisst das konkret: Bei High-Stakes-Einsätzen wie medizinischen Diagnosen, Kreditentscheiden oder juristischer Risikoeinschätzung setzt du ein System ein, das mehr Daten gesehen hat als jeder Mensch je verarbeiten könnte – aber seine Arbeit nicht zeigen kann.
Mensch vs. LLM: zwei Lernsysteme, zwei Fehlerarten
Geoffrey Hinton, einer der Begründer des Deep Learning, hat den fundamentalen Unterschied zwischen menschlichem und künstlichem Lernen so präzise wie kaum jemand sonst beschrieben. Das menschliche Gehirn lernt über rund zwei Milliarden Lebenssekunden mit einer relativ kleinen Datenmenge. Ein LLM lernt in wenigen Trainingsläufen mit einem Vielfachen dieser Datenmenge – bei deutlich weniger Verbindungen als das Gehirn besitzt.
~100 Billionen
Synapsen im menschlichen Gehirn, aufgebaut über rund 2 Milliarden Lebenssekunden
~1 Billion
Parameter in aktuellen LLMs – trainiert mit rund 1000-mal mehr Daten, als ein Mensch je verarbeitet
Aus diesem Missverhältnis folgt laut Hinton ein inverser Fehlertyp: Menschen scheitern an zu wenig Daten – wir unterabtasten die Wirklichkeit und ziehen voreilige Schlüsse. LLMs scheitern am Gegenteil: Sie müssen eine riesige Datenmenge in vergleichsweise wenige Parameter pressen und komprimieren dabei zwangsläufig Wissen zu Mustern, deren innere Logik sich der direkten Beobachtung entzieht.
Until we crack the packing itself, every high-stakes deployment is a bet on a system that has seen more than any human… and still can't show its work.
Das Black-Box-Risiko: Warum niemand das Abrufen erklären kann
Die Kompression selbst ist das Problem. Ein Modell speichert kein durchsuchbares Archiv von Fakten, sondern statistische Muster, die beim Abruf neu zusammengesetzt werden. Welcher dieser Muster-Pfade in einer konkreten Situation aktiviert wird, lässt sich mit heutigen Methoden nicht vollständig zurückverfolgen. Das gilt selbst in Bereichen, in denen man es am wenigsten erwarten würde – etwa in der IT-Sicherheit, wie die Diskussion rund um die Abschaltung von Fable 5 und die Abhängigkeit europäischer Unternehmen von US-KI zeigt.
16'000 Exploits, keine Erklärung
Fable 5 hat gezeigt, dass hochleistungsfähige Modelle rund 16'000 Sicherheitslücken finden können – ohne dass jemand erklären kann, wie das Modell zu diesem Ergebnis gelangt ist. Genau dieses Muster – enorme Leistung ohne nachvollziehbaren Weg – ist die Kernherausforderung jeder High-Stakes-KI.
High-Stakes-Einsätze: Spital, Gericht, Kreditvergabe
Der EU AI Act definiert in Art. 6 explizit Hochrisiko-Systeme – dazu zählen unter anderem KI in der Medizin, in der Strafjustiz, im Bildungswesen und bei kritischer Infrastruktur. Für Schweizer Unternehmen mit EU-Bezug ist diese Klassifizierung relevant; zusätzlich verlangt das revidierte Datenschutzgesetz (revDSG) Transparenz bei automatisierten Einzelentscheiden, die eine Person erheblich betreffen.
- Medizinische Diagnose- und Triage-Systeme
- Gerichtliche Risikoprognosen und Rückfallbewertungen
- Kreditvergabe, Scoring und Versicherungsentscheide
- Autonome Steuerung kritischer Infrastruktur
Agenten als Entscheider verschärfen das Problem
SAP prognostiziert, dass bis 2028 rund 60 Prozent geschäftskritischer Entscheidungen von KI-Agenten getroffen oder massgeblich vorbereitet werden. Was ein Agent autonom entscheidet, entzieht sich noch stärker der Kontrolle als eine einzelne Modellantwort – die Black Box wird zur handelnden Instanz. Gleichzeitig zeigt eine geringe Lücke bei der Agenten-Adoption, dass die meisten Unternehmen mit der Governance dieser Systeme noch am Anfang stehen.
Handlungsfelder für Schweizer KMU
- Hochrisiko-Klassifizierung nach EU AI Act Art. 6 systematisch für alle eingesetzten Modelle durchführen
- Human-in-the-loop verbindlich für alle High-Stakes-Entscheide verankern – kein autonomer Abschluss ohne menschliche Freigabe
- Dokumentations- und Transparenzpflichten nach revDSG bei automatisierten Einzelentscheiden erfüllen
- Modell-Provenienz prüfen und bewusst zwischen offenen und geschlossenen Architekturen wählen
- Externe Audits, Red-Teaming und regelmässige Überprüfung der Modell-Outputs etablieren
Modellwahl als Governance-Hebel
Wie stark du die Nachvollziehbarkeit eines Modells beeinflussen kannst, hängt auch von der Architektur ab. Ein Blick auf Open-Weight-KI und ihre Bedeutung für dein KMU lohnt sich, bevor du dich auf ein geschlossenes System für kritische Prozesse festlegst.
Fazit
Das Black-Box-Problem lässt sich heute nicht wegregulieren und nicht wegtrainieren – es ist eine strukturelle Eigenschaft komprimierten Wissens. Was du als Entscheider steuern kannst, ist der Kontext: wo du Black-Box-Systeme einsetzt, mit welcher menschlichen Kontrolle, und mit welcher Dokumentation. Genau diese Governance-Arbeit übernehmen wir bei KI-Outsourcing als externe Abteilung – damit High-Stakes-KI bei dir kein Blindflug bleibt.
Häufige Fragen
- Was bedeutet das Black-Box-Problem bei KI-Modellen genau?
- Es beschreibt die Tatsache, dass niemand – auch Entwickler nicht – vollständig nachvollziehen kann, welche internen Muster ein KI-Modell aktiviert, um eine konkrete Ausgabe zu erzeugen. Das Wissen ist in komprimierter Form in den Parametern gespeichert, ohne durchsuchbaren, erklärbaren Pfad.
- Warum lernen Menschen und LLMs laut Geoffrey Hinton unterschiedlich?
- Das menschliche Gehirn hat rund 100 Billionen Synapsen und lernt über etwa 2 Milliarden Lebenssekunden mit relativ wenig Daten. LLMs haben rund 1 Billion Parameter, verarbeiten aber rund 1000-mal mehr Trainingsdaten. Menschen scheitern an Unterabtastung, LLMs an Überkompression riesiger Datenmengen.
- Welche Bereiche gelten laut EU AI Act als Hochrisiko?
- Art. 6 des EU AI Act definiert unter anderem KI-Systeme in Medizin, Strafjustiz, Bildung und kritischer Infrastruktur als Hochrisiko. Für diese gelten verschärfte Anforderungen an Transparenz, Dokumentation und menschliche Aufsicht.
- Wie kann ein KMU das Black-Box-Risiko in der Praxis reduzieren?
- Zentrale Massnahmen sind eine systematische Hochrisiko-Klassifizierung, verbindliches Human-in-the-loop bei kritischen Entscheiden, Erfüllung der revDSG-Dokumentationspflichten, bewusste Modellwahl sowie regelmässige externe Audits und Red-Teaming.
- Macht Explainable AI das Black-Box-Problem vollständig lösbar?
- Nein. Explainable-AI-Methoden liefern Näherungen und Teileinblicke, können das zugrunde liegende Kompressionsproblem aber nicht vollständig auflösen. Sie reduzieren das Risiko, ersetzen aber keine menschliche Kontrolle bei High-Stakes-Entscheiden.
Quellen
Möchten Sie dieses Thema für Ihr Unternehmen vertiefen?
Kapazität prüfen