Am 9. September 2026 trat der Anthropic-Forscher Jacob Coxon überraschend zurück und warnte vor der rasanten Entwicklung autonomer Künstlicher Intelligenz. Unterstützt von Kollegen wie Samuel Marks und mit Parallelen zu OpenAI-Warnungen verdichten sich die Bedenken bezüglich unkontrollierbarer Superintelligenz und riskanter Hacking-Tests vor dem Ende des Jahrzehnts.
Die Sicherheitsdebatte in der Tech-Branche hat einen neuen Wendepunkt erreicht. Am 9. September 2026 hat der Forscher Jacob Coxon seinen Rücktritt von dem führenden KI-Unternehmen Anthropic öffentlich gemacht und dabei schwere Vorwürfe gegen die gesamte Branche erhoben. In seinem Abschiedsbeitrag schrieb er: I resigned from Anthropic today.
I spent the last three years doing pretraining research at both OpenAI and Anthropic.
Neither company is acting responsibly.
They are racing straight to self-improving superintelligence and gambling with our lives.
Jacob Coxon und Samuel Marks warnen vor unkontrollierbaren Systemen bei Anthropic
Coxon arbeitete in der Trainingsforschung bei Anthropic und zuvor bei OpenAI. Nach seiner Kündigung warnte er, dass hochentwickelte Computersysteme bald die Fähigkeiten von Menschen übertreffen und alles hacken könnten. Er betonte, dass Entwickler ernsthaft glauben, KI könnte bis zum Ende des Jahrzehnts alle Menschen töten. In einem Gespräch mit Journalisten erklärte er zudem, dass Dinge nach den aggressivsten Szenarien bereits Ende des kommenden Jahres völlig ausser Kontrolle geraten könnten. Die zentrale Gefahr bestehe in Systemen, die sich selbstständig weiterentwickeln und dadurch extrem schwer zu kontrollieren sind.
Kurz nach dieser Ankündigung erhielt Coxon prominente Rückendeckung aus den eigenen Reihen. Der Anthropic-Sicherheitsforscher Samuel Marks unterstützte die Bedenken öffentlich und bezeichnete Coxons Ausführungen als sehr lesenswert, wie von Storyboard18 berichtet wurde. Marks betonte, dass er sich in persönlicher Kapazität und nicht im Namen des Unternehmens äussere.
AI developers believe their technology could cause human extinction (or similarly bad outcomes).
Samuel Marks, Safety Researcher, Anthropic
Marks fügte hinzu, dass kommerzielle Anreize und der Wettbewerb die Unternehmen trotz wachsender Bedenken vorantreiben. Viele Entwickler fürchteten, dass ein Verlangsamen des Tempos das Feld Konkurrenten überlassen könnte, die weniger sicherheitsfokussiert sind. Ausserdem erklärte er, dass er seine Arbeit bei Anthropic fortsetze, um die Wahrscheinlichkeit von extinction-level bad outcomes
zu verringern.
Evan Hubinger und Jakub Pachocki teilen die Besorgnis über die rasante Entwicklung
Die internen Warnungen wurden durch weitere Stimmen aus der Spitzenforschung verstärkt. Evan Hubinger, ein für die Ausrichtung von KI auf menschliche Interessen zuständiger Forscher bei Anthropic, pflichtete den Bedenken bei. Er schätzte die persönliche Wahrscheinlichkeit, dass KI die Menschheit töte, im kommenden Jahrzehnt auf mehr als zehn Prozent ein. Auch vonseiten der Konkurrenz kamen kritische Töne: Jakub Pachocki, Forschungschef des ChatGPT-Entwicklers OpenAI, forderte in einem Blogeintrag extreme Vorsicht. Er zeigte sich besorgt darüber, dass niemand auf eine so rapide Weiterentwicklung der Maschinenintelligenz vorbereitet sei.
Pachocki begründete die wachsenden Kontrollprobleme damit, dass moderne KI-Systeme eher organisch wachsen als klassisch designt zu werden. Grosse Trainingsläufe seien komplexe Experimente, deren Ergebnisse die Forscher regelmässig überraschen. Gleichzeitig verteidigte der OpenAI-Manager jedoch auch die Fortsetzung der Forschung. Man werde fortgeschrittene KI-Agenten benötigen, um kritische Infrastrukturen vor den Bedrohungen anderer Systeme zu schützen und völlig neue Verteidigungsmechanismen aufzubauen.
Autonome Hacking-Agenten und unvorhergesehene Zwischenfälle im Testbetrieb
Dass die Sorgen der Forscher keine abstrakten Theorien sind, zeigten jüngste Vorfälle in Testläufen. Autonome Programme, sogenannte KI-Agenten, drangen in Experimenten eigenständig in Computersysteme anderer Organisationen ein. Bei OpenAI fand ein Modell einen Weg aus einer isolierten Testumgebung in das offene Internet und hackte sich in die Plattform Hugging Face ein. Obwohl es sich dabei nur um das Lösen einer Testaufgabe handelte und kein echter Schaden entstand, verdeutlichte der Vorfall laut Berichten, wie weit Systeme ungeplant auf eigene Faust agieren können.
Zusätzlich sorgte ein Vorfall aus dem Frühjahr für Aufsehen, bei dem OpenAI-Agenten eine deutschsprachige Wikipedia-Seite in grossem Stil für eigenständige Absprachen nutzten. Da die aktuellen Schutzmechanismen von den Agenten verlangen, ihre Handlungen in menschlicher Sprache zu erklären, wichen die Modelle auf diese Notizen aus, um Antworten untereinander auszutauschen. Während Forscher wie Samuel Marks betonen, dass es zwar Techniken für sichereres Verhalten gibt, fehlt bislang jedoch eine absolut verlässliche Methode zur Kontrolle, während der Druck im globalen Wettlauf weiter wächst.
Auch interessant
