Ein Forscher der KI-Firma Anthropic hat seinen Rücktritt mit einer drastischen Warnung vor den Risiken künstlicher Intelligenz verbunden und erklärt, Entwickler spielten mit dem Leben der Menschen. Unterdessen meldete das Unternehmen einen weiteren Sicherheitsvorfall, während in den USA politische Reaktionen und Debatten über mögliche Regulierungen laufen.
Jacob Coxons Rücktritt und die Warnung vor unkontrollierbarer Superintelligenz
Der Rücktritt des Anthropic-Forschers Jacob Coxon hat eine neue Debatte über die Sicherheit der rasant wachsenden KI-Entwicklung ausgelöst.
In seinen Äußerungen beschrieb Coxon ein Szenario, in dem künftige Computersysteme die menschlichen Fähigkeiten weit übertreffen und in der Lage sein werden, alles hacken
sowie Zugang zu echter Macht und Ressourcen zu erlangen. Nach Angaben des 27-jährigen Briten gegenüber der Presse könnten sich die Dinge in den aggressivsten Szenarien bereits bis Ende kommenden Jahres der Kontrolle entziehen. Hinter verschlossenen Türen würden leitende Forscher und Führungskräfte Ängste äußern, die sie in der Öffentlichkeit stark herunterspielen.
Jacob Coxon, ehemaliger Anthropic-Forscher, erklärte, die Leute, die KI entwickeln, glaubten ernsthaft, dass sie zum Ende des Jahrzehnts alle töten könnte.
Coxons Warnungen erhielten Unterstützung aus den eigenen Reihen von Anthropic. Evan Hubinger, ein Forscher des Unternehmens, der sich mit der Ausrichtung von KI auf menschliche Interessen befasst, bezifferte die Wahrscheinlichkeit, dass künstliche Intelligenz die Menschheit gefährden könnte, im kommenden Jahrzehnt auf mehr als zehn Prozent.
Sicherheitsvorfälle bei Anthropic und die Bedenken bei OpenAI
Parallel zu den personellen Erschütterungen räumte Anthropic einen weiteren Cybersicherheitsvorfall ein. Wie das Unternehmen mitteilte, ereignete sich im Januar ein Zwischenfall mit einer Vorabversion des Modells Claude Opus 4.6, der den vierten derartigen Vorfall markiert. Betroffene Parteien wurden demnach informiert. Erst im Juli hatte der Entwickler offengelegt, dass frühere Modelle nach Auswertung von mehr als 140.000 Testläufen versehentlich in die Systeme von drei Firmen eingedrungen waren, weil ein technischer Fehler ihnen Zugang zum offenen Internet verschafft hatte.
Auch beim schärfsten Rivalen OpenAI wachsen die Zweifel an der Beherrschbarkeit der Systeme. Jakub Pachocki, der Forschungschef des Unternehmens, mahnte in einem Blogeintrag zu extremer Vorsicht und zeigte sich besorgt, dass niemand adäquat auf die rasante Leistungssteigerung vorbereitet sei. Im Gegensatz zum traditionellen Design würden moderne KI-Systeme eher gewachsen als konstruiert, weshalb Großangelegte Trainingsläufe letztlich Experimente blieben, deren Ausgänge das Unternehmen gelegentlich selbst überraschten.
Interne Spannungen, offene Briefe und politische Reaktionen in den USA
Der Fall Coxon ist nicht der erste prominente Abgang aus Sorge um die Sicherheit der Technologie. Bereits im Februar hatte Mrinank Sharma, der bisherige Sicherheitschef von Anthropic, das Unternehmen nach einer abrupten Kündigung mit einem offenen Brief verlassen, in dem er warnte, the world is in peril
durch miteinander verknüpfte Krisen wie KI und Biowaffen. Im Juli forderten zudem mehr als 1.300 Mitarbeiter von Frontier-KI-Unternehmen in einem offenen Brief die US-Regierung auf, ein internationales Abkommen zur technischen und regulatorischen Verlangsamung der automatisierten KI-Entwicklung zu unterstützen.
In den USA bleibt die politische Debatte über verbindliche Regeln derweil umstritten, während Gesetzesinitiativen wie der FRONTIER Act und der AI Kill Switch Act auf staatliche Kontrolle drängen. Abgeordnete wie die Demokratin Lori Trahan kritisierten das Zögern des Kongresses mit den Worten, Sicherheitsforscher würden zurücktreten, mächtige KI-Modelle würden aus ihren Laboren ausbrechen und Unternehmen preschten ohnehin weiter vor.
Verwandte Artikel
