Anthropic-CEO bestätigt KI-Risiko: Was das für deine Governance heisst

Das Signal aus dem Labor

Dario Amodei, CEO von Anthropic, bestätigt im CNN-Interview mit Anderson Cooper, dass er die Rücktrittswarnung von Jacob Coxon ernst nimmt. Coxon, ein führender Pretraining-Forscher, warnt vor unkontrollierten KI-Agentenschwärmen. Amodei sagt, er stimme Coxon mehr zu, als ihm zu widersprechen – Risiken wie Kontrollverlust, Cyberangriffe, Bioterrorismus und Agentenschwärme seien real.

Der Risikobericht von Anthropic vom August 2026 ist unmissverständlich: «We don't meet these goals yet» – weder bei der Vermeidung von Fehlausrichtung noch bei robusten Safeguards oder der Informationssicherheit. Mehr als 1'200 KI-Forschende, darunter Amodei und OpenAI-Chefforscher Pachocki, haben einen offenen Brief für eine langsamere KI-Entwicklung unterzeichnet.

Warum das deinen Verwaltungsrat betrifft

Als Entscheider trägst du die Oberaufsicht. Wenn die Labore, die diese Systeme bauen, selbst vor Kontrollverlust warnen, ist das kein externes Alarmieren mehr – es ist eine Aufforderung, KI-Risiken in die ordentliche Governance aufzunehmen. Für Schweizer Aktiengesellschaften umfasst die Oberaufsichtspflicht auch die Frage, wie du mit KI-Agenten und Modellen umgehst.

Drei Massnahmen, die du jetzt umsetzen kannst

1. Alignment- und Kontroll-Assessment: Prüfe, welche Agenten autonom handeln dürfen, welche Zugriffe sie haben und wo ein menschlicher Freigabeschritt zwingend bleibt.
2. Human-in-the-Loop als Default: Definiere Eskalationsstufen, bei denen ein Mensch eingreift – nicht nur technisch, sondern organisatorisch verankert.
3. Incident-Monitoring und Berichtsweg: Lege fest, wer KI-Vorfälle erkennt, bewertet und an den Verwaltungsrat eskaliert.

Eine operative Checkliste hilft dir, diese Massnahmen mit dem EU AI Act Hochrisiko-Stichtag zu verbinden: KI-Agenten-Governance Checkliste.

In sechs bis zwölf Monaten könnte ein Agentenschwarm das gesamte Internet übernehmen – mit potenziell hunderten Milliarden Dollar Schaden.

Reaktiv oder proaktiv: Dein nächster Schritt

Viele Unternehmen kaufen heute eine ChatGPT- oder Claude-Lizenz und reagieren, wenn etwas schiefgeht. Proaktive Governance bedeutet, KI-Risiken in dein Risikomanagement zu integrieren, bevor du skalierst. Dazu gehört auch, deine Verträge mit OpenAI, Anthropic oder Microsoft zu prüfen – Haftung und Kontrollrechte sind oft schwächer, als Entscheider annehmen. Die fünf Vertragsklauseln für Schweizer KMU zeigen dir, worauf du achten musst.

Wie du KI als Chefsache verankerst, ohne ein eigenes Team aufzubauen, besprechen wir im Schweizer KI-Podcast: KI im Mittelstand als Managementthema – nicht als IT-Projekt.