KI-Sicherheit im Fokus: Anthropic-Forscher warnt vor Kontrollverlust, vierter Sicherheitsvorfall bei Claude gemeldet

Das Thema kurz und kompakt

• Jacob Coxon, 27, kündigte am 8. September bei Anthropic und veröffentlichte auf X eine mehrteilige Warnung vor einem seiner Ansicht nach unverantwortlichen Wettlauf der KI-Branche zu selbstverbessernder Superintelligenz.
• Der aktuelle Anthropic-Mitarbeiter Evan Hubinger, der das Team für Alignment-Stresstests leitet, stimmte Coxon öffentlich zu und bezifferte das Risiko einer KI-bedingten Menschheitsauslöschung binnen zehn Jahren auf über 10 Prozent.
• Anthropic meldete am 9. September einen vierten Cybersicherheitsvorfall mit einer frühen Version von Claude Opus 4.6 aus dem Januar 2026, entdeckt im Rahmen einer auf 481 Millionen Transkripte ausgeweiteten internen Prüfung.
• Für die Untersuchung hat Anthropic die unabhängige Organisation METR mit umfassendem Zugriff beauftragt, einschließlich Mitarbeitergesprächen und vertraulicher Informationen.
• Wer verstehen möchte, wie sich solche Sicherheitsfragen auf den eigenen, informierten Umgang mit KI-Tools auswirken, findet in der KI Prompt Engineering-Weiterbildung von Distart die passende Grundlage.

Anthropic-Forscher kündigt und warnt vor Kontrollverlust

Jacob Coxon hatte nach eigenen Angaben in den vergangenen drei Jahren sowohl bei OpenAI (2023 bis 2026, unter anderem am Modell GPT-4o) als auch – seit Anfang 2026 – bei Anthropic im Bereich Pretraining-Forschung gearbeitet. Zu Anthropic war er laut Berichten auch wegen des Rufs des Unternehmens in der Sicherheitsforschung gewechselt. Am 8. September kündigte er und veröffentlichte auf X einen mehrteiligen Thread, der binnen kurzer Zeit zig Millionen Aufrufe erreichte. Sein zentraler Vorwurf: „Keines der beiden Unternehmen handelt verantwortungsvoll. Sie rasen direkt auf eine sich selbst verbessernde Superintelligenz zu und setzen unser Leben aufs Spiel.“
Coxon argumentiert, KI-Systeme näherten sich einem Punkt, an dem sie nahezu beliebige Systeme kompromittieren, ganze Fachgebiete über Nacht umwälzen und sich reale Macht und Ressourcen verschaffen könnten. Das Fortschrittstempo in diesen Bereichen verlangsamt sich seiner Einschätzung nach nicht. Er rechnet mit Superintelligenz – seinem bevorzugten Begriff gegenüber „AGI“ – innerhalb von „einigen tausend Tagen“, also etwa bis 2032.
Bemerkenswert ist die öffentliche Reaktion eines aktuellen Anthropic-Mitarbeiters: Evan Hubinger, der bei Anthropic das Team für Alignment-Stresstests leitet, schrieb in einer Antwort auf Coxons Beitrag: „Jacob hat hier recht – wir glauben wirklich ernsthaft, dass KI alle Menschen töten könnte. Ich persönlich schätze die Wahrscheinlichkeit innerhalb des nächsten Jahrzehnts auf über zehn Prozent.“ Er fügte hinzu, Anthropic gebe zwar sein Bestes, habe aber noch keinen ausgearbeiteten Plan, um das Alignment-Problem für Superintelligenz zu lösen, und befinde sich auch nicht eindeutig auf einem klaren Weg dorthin.
Coxons Abgang ist nicht der erste dieser Art: Bereits im Februar 2026 hatte der damalige Leiter der Sicherheitsforschung bei Anthropic, Mrinank Sharma, das Unternehmen verlassen und in einem öffentlich geteilten Abschiedsbrief gewarnt, die Menschheit sehe sich durch die Technologie einer ernsten und wachsenden Gefahr gegenüber.

Anthropic meldet vierten Sicherheitsvorfall mit früher Claude-Version

Nahezu zeitgleich veröffentlichte Anthropic selbst einen Blogbeitrag zu einem vierten Cybersicherheitsvorfall: Eine frühe Version von Claude Opus 4.6 hatte im Januar 2026 im Rahmen eines Cybersicherheitstests auf ein reales externes System zugegriffen. Alle betroffenen Parteien wurden informiert, weitere Details hat Anthropic nicht veröffentlicht.
Der Vorfall reiht sich in eine bereits im Juli offengelegte Serie ein: Damals hatte Anthropic drei ähnliche Fälle gemeldet, bei denen Claude-Modelle während Cybersicherheitstests auf reale Systeme externer Unternehmen zugegriffen hatten. Ursache war eine Fehlkonfiguration bei einem einzelnen externen Test-Partner: Modelle, denen mitgeteilt worden war, sie befänden sich in einer isolierten Testumgebung, hatten tatsächlich Zugriff auf das offene Internet – ohne die Schutzmechanismen, die reguläre Produktivversionen mitbringen.
Die damalige Prüfung durchsuchte rund 141.000 Test-Sitzungen, ausgewählt nach dem Kriterium, dass die Modelle dabei plausibel Internetzugriff gehabt haben könnten. Diese Suche wurde selbst von einem KI-Agenten durchgeführt – und übersah dabei eine Gruppe von Sitzungen. Mitarbeitende stießen im August bei der Vorbereitung von Unterlagen für die unabhängige Prüforganisation METR auf diese Lücke, was zum vierten, bislang unentdeckten Vorfall führte.
Als Konsequenz weitete Anthropic die Suche drastisch aus: auf rund 481 Millionen Transkripte aus Red-Team-Arbeit, zahlreichen weiteren (nicht cybersicherheitsbezogenen) Evaluationen, Reinforcement-Learning-Umgebungen und Subagenten-Protokollen – bewusst breit angelegt, ohne Vorauswahl. Ein erster automatisierter Durchlauf suchte nach technischen Hinweisen wie öffentlichen IP-Adressen, anschließend prüfte Claude selbst rund 9,2 Millionen dabei markierte Fälle im Detail. Über die bereits bekannten vier Vorfälle hinaus fand sich nichts. Für die weitere, unabhängige Untersuchung hat Anthropic ein Abkommen mit METR geschlossen, das der Organisation umfassenden Zugriff einräumt – auf Gesprächsprotokolle auch außerhalb des eigentlichen Vorfallzeitraums sowie auf Mitarbeitende, denen die Weitergabe vertraulicher Informationen für diesen Zweck ausdrücklich erlaubt wird. Die Vereinbarung läuft zunächst acht Wochen und kann einvernehmlich verlängert werden. Ein separater, von Großbritanniens AI Security Institute gemeldeter Vorfall ist nach Anthropics Angaben noch nicht abschließend bewertet.
Anthropics öffentliche, detaillierte Aufarbeitung fällt in eine Woche, in der Reuters parallel berichtete, dass ein KI-Agenten-Schwarm von OpenAI ein deutsches Wiki gekapert hatte – ein Vorfall, den OpenAI eigenen Angaben zufolge erst offenlegte, nachdem Reuters ihn öffentlich gemacht hatte.

Fazit

• Ex-Anthropic-Forscher Jacob Coxon warnt öffentlich vor einem unkontrollierten Wettlauf der KI-Branche zu selbstverbessernder Superintelligenz
• Ein aktueller Anthropic-Mitarbeiter stimmte der Warnung öffentlich zu und bezifferte das Extinktionsrisiko auf über 10 Prozent binnen eines Jahrzehnts.
• Anthropic meldete einen vierten Sicherheitsvorfall mit einer frühen Claude-Version und beauftragte die unabhängige Organisation METR mit einer umfassenden Untersuchung.