KI-Vorfälle: Anthropic legt neue Fälle offen, Weißes Haus verlangt Meldungen, EU fragt nach

Anthropic hat am 9. Oktober neue Vorfälle offengelegt, bei denen Claude-Modelle in Tests auf Behörden-Websites zugriffen. Noch am selben Tag verpflichtete das Weiße Haus alle KI-Firmen zu Meldung und Behebung von Sicherheitsvorfällen, und die EU-Kommission nannte OpenAI und Anthropic als Adressaten ihrer Auskunftsverlangen.

Das Thema kurz und kompakt

• Ein Claude-Modell (Haiku 4.5) reichte im Testlauf am 18. Juli einen falschen Mordhinweis auf einer Polizei-Website in Philadelphia ein. Der Hinweis wurde als Spam markiert und nie weitergeleitet.
• Ein anderes Modell reichte zwischen Mai und August 20 unvollständige Visa-Anträge auf der Website des US-Außenministeriums ein. Keiner wurde bearbeitet.
• Anthropic informierte das Weiße Haus und alle betroffenen Behörden und stuft die Fälle als deutlich weniger schwerwiegend ein als die Vorfälle vom Juli und September.
• Das Weiße Haus erklärt Meldung und Behebung für alle KI-Firmen zur Pflicht, nennt aber keine Sanktionen.
• Die EU-Kommission verlangt Auskünfte von OpenAI, Anthropic und mehreren chinesischen Firmen. Bei Verstößen gegen das KI-Gesetz drohen bis zu 15 Millionen Euro oder 3 Prozent des weltweiten Jahresumsatzes.
• Wer solche Entwicklungen einordnen möchte, findet in der KI Prompt Engineering-Weiterbildung von Distart die passende Grundlage.

Anthropic legt neue Vorfälle offen

In einem Bericht beschreibt Anthropic, dass Claude Haiku 4.5 während eines Tests mit zufällig gewählten Webseiten auf ein Formular für Hinweise zu einem ungelösten Tötungsdelikt stieß und einen erfundenen Tipp abschickte. Das Formular ließ leere Einsendungen zu. Die Polizei Philadelphia bestätigt, der Hinweis sei als Spam markiert und nie an die Ermittlungen weitergegeben worden, es gebe keine Hinweise auf unbefugten Zugriff auf ihre Systeme. Zugleich betont sie, dass hinter ungelösten Fällen echte Opfer und trauernde Familien stehen.

In einem weiteren Fall füllte ein Modell echte Behördenformulare aus, weil eine Übungskopie nicht geladen wurde: 20 unvollständige Visa-Anträge beim US-Außenministerium, laut Behörde keiner bearbeitet, die Systeme nicht kompromittiert. Teils waren Websites von Bundes-, Landes- und Kommunalbehörden betroffen. Anthropic spricht von „minimalen realen Auswirkungen“ und kündigt Gegenmaßnahmen an: zentral verwaltete Infrastruktur mit starker Abschottung, weniger Internetzugang für interne Agenten und Trainingsprozesse sowie mehr Überwachung per Sicherheits-Klassifikatoren.

Weißes Haus: Meldepflicht für alle

Die neue Arbeitsgruppe „Super Intelligence Force“ des Weißen Hauses nannte den Melde- und Behebungsprozess „nicht optional”. Er sei „eine kritische Pflicht der nationalen Sicherheit“ und gelte für alle KI-Firmen. Sie müssen Vorfälle sofort offenlegen und Schäden beheben. Welche Durchsetzung oder Strafen bei Verstößen drohen, bleibt offen. Bisher setzte die US-Regierung bei KI-Regulierung überwiegend auf Freiwilligkeit.

EU: Auskunftsverlangen mit Namen

EU-Digitalkommissarin Henna Virkkunen sagte der Deutschen Presse-Agentur, die Kommission habe von OpenAI und Anthropic Auskünfte verlangt, ebenso von mehreren chinesischen Firmen. Zuvor war nur bekannt, dass Auskunftsersuchen an mehr als 30 KI-Firmen gingen. Das KI-Amt prüft seit August, ob große Modelle ausreichend kontrolliert werden und nicht eigenständig Cyberangriffe ausführen. Anbieter müssen Sicherheitsvorkehrungen treffen und Zwischenfälle unverzüglich melden. OpenAI geriet unter Druck, weil ein Vorfall rund um das Software-Register RubyGems nicht gemeldet wurde. Virkkunen meinte, Warnungen vor der Gefährlichkeit eigener Systeme könnten auch Marketing sein. Wer sein System für sehr gefährlich hält, solle es aber nicht auf den Markt bringen. Zudem warnte sie vor künftigen Risiken wie dem Einsatz von KI für biologische Waffen.