Während das Rennen um immer leistungsfähigere Systeme der künstlichen Intelligenz an Fahrt gewinnt, fordert einer der führenden Akteure der Branche die Welt auf, eine Möglichkeit in Erwägung zu ziehen, die bis vor Kurzem weitgehend der Science‑Fiction vorbehalten war: Maschinen, die sich ohne menschliches Zutun selbst verbessern.

Anthropic, das KI‑Unternehmen hinter Claude, sagte am Donnerstag, dass die Fähigkeit, das Tempo der Frontier‑KI‑Entwicklung zu verlangsamen, wertvoll sein könnte, wenn die Technologie Fähigkeiten erreicht, die die Gesellschaft grundlegend umgestalten könnten.

Die Warnung erschien in einem Blogbeitrag von Marina Favaro, Leiterin von Anthropics internem Forschungsinstitut, und dem Mitgründer des Unternehmens, Jack Clark.

Der Beitrag legte interne Forschungsergebnisse offen, die zeigen, dass die fortschrittlichsten Modelle des Unternehmens sich schnell weiterentwickeln und sich schließlich in Richtung dessen bewegen könnten, was Forschende „rekursive Selbstverbesserung“ nennen — ein Szenario, in dem KI‑Systeme in der Lage sind, ihre eigenen Fähigkeiten zu verbessern.

Das Unternehmen betonte, dass eine solche Schwelle noch nicht erreicht sei und möglicherweise nie erreicht werde.

Gleichwohl argumentierte es, dass die Möglichkeit ernst genug werde, um Vorbereitungen zu rechtfertigen.

„KI, die sich selbst bauen kann, wäre eine bedeutende Entwicklung in der Geschichte der Technologie — eine, die der Welt in Wissenschaft, Gesundheitswesen und darüber hinaus großen Nutzen bringen könnte,“ heißt es in dem Beitrag.

Gleichzeitig mahnte der Beitrag, dass vollständige rekursive Selbstverbesserung auch die Risiken erhöhen könnte, dass Menschen die Kontrolle über KI‑Systeme verlieren.

„Wenn Systeme in der Lage sind, ihre eigenen Nachfolger vollständig zu bauen, werden die Art und Weise, wie wir sie sichern, überwachen und ihr Verhalten gestalten, deutlich wichtiger,“ heißt es weiter.

„Wir glauben, es wäre gut für die Welt, die Option zu haben, die Frontier‑KI‑Entwicklung zu verlangsamen oder vorübergehend zu pausieren, um gesellschaftliche Strukturen und die Alignment‑Forschung mit dem Fortschritt der Technologie Schritt halten zu lassen,“ fügten sie hinzu.

Was rekursive Selbstverbesserung bedeutet

Rekursive Selbstverbesserung, oft mit RSI abgekürzt, bezeichnet einen Prozess, bei dem ein KI‑System seine bestehenden Fähigkeiten nutzt, um sich selbst zu verbessern.

Im Gegensatz zu herkömmlicher Software, die sich nur ändert, wenn menschliche Programmierer ihren Code anpassen, können fortgeschrittene KI‑Systeme bereits Software schreiben, Ergebnisse analysieren, Hypothesen testen und Lösungen für komplexe Probleme erzeugen.

Forschende stellen sich ein zukünftiges System vor, das in der Lage ist, ein Problem zu identifizieren, Code zur Lösung zu schreiben, das Ergebnis zu bewerten, aus den Resultaten zu lernen und dann den Prozess kontinuierlich mit wenig oder keiner menschlichen Aufsicht zu wiederholen.

Jede Verbesserung könnte die nächste potenziell erleichtern und eine Rückkopplungsschleife erzeugen, die den Fortschritt beschleunigt.

Während Experten uneinig sind, wie wahrscheinlich oder wie nah solche Fähigkeiten sind, ist das Konzept zu einem zentralen Thema in Diskussionen über die Sicherheit fortgeschrittener KI geworden.

Anthropic warnte, dass rekursive Selbstverbesserung „schneller eintreten könnte, als die meisten Institutionen darauf vorbereitet sind.“

Warum Forschende Risiken sehen

Die Möglichkeit selbstverbessernder Systeme hat bei einigen Akademikern und politischen Entscheidungsträgern Besorgnis ausgelöst, weil sie neue Sicherheits‑ und Governance‑Herausforderungen mit sich bringt.

Laut Azizi Othman von der Asia e University könnten Systeme, die ihren eigenen Code verändern können, für böswillige Akteure attraktive Ziele werden.

„Ein System, das seinen eigenen Code ändert, könnte durch sorgfältig gestaltete Angriffssequenzen dazu gebracht werden, Hintertüren oder versteckte Anweisungen zu akzeptieren“, sagte Othman.

Er warnte, dass solche Systeme auch feindliche Veränderungen anderer Software oder Infrastruktur vornehmen könnten, was Sicherheitsrisiken schafft, auf die die aktuelle KI‑Sicherheitsforschung nicht vollständig vorbereitet ist.

„Diese Überlegungen sprechen dafür, die RSI‑Sicherheit als zentrale Forschungspriorität zu behandeln und nicht als sekundäres Anliegen“, sagte er.

Die aktuelle Literatur zur Absicherung von Systemen mit rekursiver Selbstmodifikation sei nach wie vor begrenzt, sagen Forschende.

OpenAI äußert ähnliche Bedenken

Anthropic ist nicht allein darin, rekursive Selbstverbesserung als potenzielle Herausforderung hervorzuheben.

OpenAI, Anthropics wichtigster Konkurrent, hat das Thema ebenfalls in dieser Woche in seine öffentliche Politikagenda aufgenommen.

Der ChatGPT‑Hersteller forderte einen bundesweiten Rahmen, der die Aufsicht über fortgeschrittene KI‑Systeme stärkt und die Überwachung des Fortschritts in Richtung rekursiver Selbstverbesserung unterstützt.

„Wir unterstützen auch eine Kongressmaßnahme zur Etablierung eines umfassenden bundesweiten Rahmens,“ sagte OpenAI und argumentierte, die US‑Regierung sollte die Evaluationsbemühungen für die leistungsfähigsten Frontier‑Modelle ausweiten und ein unabhängiges Ökosystem zur Bewertung von Sicherheitsrisiken entwickeln.

„Dieser Rahmen sollte CAISI verpflichten, Bewertungen der leistungsfähigsten Frontier‑Modelle durchzuführen, CAISI anweisen, ein unabhängiges Bewertungsökosystem zu schaffen, und die Überwachung des Fortschritts in Richtung rekursiver Selbstverbesserung (RSI) prioritär behandeln,“ hieß es.

Die Tatsache, dass zwei der einflussreichsten KI‑Unternehmen der Welt nun öffentlich über rekursive Selbstverbesserung diskutieren, deutet darauf hin, dass das Thema sich von einer theoretischen Debatte zu einer zentralen Frage der politischen Diskussion entwickelt.

Eine Warnung inmitten eines boomenden KI‑Geschäfts

Anthropics Appell zur Vorsicht kommt zu einem Zeitpunkt, an dem das Unternehmen selbst enorm vom KI‑Boom profitiert.

Das Unternehmen hat kürzlich eine Finanzierungsrunde abgeschlossen, die es mit nahezu $1 trillion bewertete, und hat vertraulich Unterlagen für einen Börsengang eingereicht.

Sein Umsatzwachstum war ebenso dramatisch.

Anthropics annualisierte Umsatzlauf‑Rate wird voraussichtlich bis zum Ende dieses Monats etwa $50 billion erreichen, nach $9 billion zum Ende des Jahres 2025.

Dieses schnelle Wachstum hat dem Unternehmen geholfen, sich als einer der führenden Herausforderer von OpenAI im Wettkampf um KI‑Vorherrschaft zu positionieren.

Das Timing seines jüngsten Sicherheitsvorstoßes hat daher Kritik von einigen Beobachtern erneuert, die argumentieren, dass Forderungen nach strengerer Aufsicht etablierten KI‑Anbietern zugutekommen könnten, indem sie Wettbewerbsbarrieren erhöhen.

Kritiker hinterfragen Anthropics Motive

Anthropic sieht sich seit langem Vorwürfen ausgesetzt, dass seine Sicherheitskampagnen kommerziellen Interessen dienen könnten.

Zu seinen Kritikern gehört der Risikokapitalgeber David Sacks, ein informeller Berater von Präsident Donald Trump, der dem Unternehmen eine „Regulatory‑Capture‑Agenda“ vorgeworfen hat.

In einem kürzlichen Podcast warnte Sacks, dass Washingtons „Regulatory‑Capture‑Agenda“ zu einem Verbot von Open‑Source‑KI‑Modellen führen könnte — Systemen, die Organisationen eine deutlich kostengünstigere Möglichkeit bieten, KI intern zu entwickeln und zu nutzen.

Andere haben vorgeschlagen, dass öffentliche Warnungen vor mächtigen KI‑Systemen eine Form von Marketing sein könnten, indem sie die Raffinesse von Anthropics Technologie hervorheben.

Die begrenzte Freigabe von Anthropics cybersecurity‑fokussiertem Mythos‑Modell wurde von Skeptikern wiederholt als Beispiel angeführt, die glauben, dass Sicherheitsbotschaften auch Produktfähigkeiten demonstrieren können.

Anthropic weist diese Kritik zurück und betont, dass der Fokus auf Sicherheit dem aktuellen KI‑Boom vorausgehe.

Eine Branche gespalten in Bezug auf die Zukunft der KI

Die Debatte spiegelt eine breitere Spaltung in der KI‑Branche darüber wider, wie nahe heutige Systeme daran sind, menschenähnliche Intelligenz oder Selbstverbesserungsfähigkeiten zu erreichen.

Einige Forschende, darunter KI‑Pionier und ehemaliger Meta‑Chef‑KI‑Wissenschaftler Yann LeCun, haben argumentiert, dass heutige große Sprachmodelle grundsätzlich begrenzt sind und wahrscheinlich keine menschenähnliche Intelligenz erreichen werden.

LeCun hat existenzielle Ängste im Zusammenhang mit KI wiederholt zurückgewiesen und aktuelle Systeme eher mit der Intelligenz einer Katze als mit der eines Menschen verglichen.

Andere, darunter Anthropics CEO Dario Amodei, vertreten eine deutlich vorsichtigere Sichtweise.

Amodei hat gewarnt, dass fortgeschrittene KI die Ungleichheit erheblich verstärken, eine große Anzahl von Einstiegs‑Bürojobs eliminieren und potenziell schädliche Verhaltensweisen auf unvorhersehbare Weise entwickeln könnte.

Jack Clark hat ähnlich argumentiert, dass rekursive Selbstverbesserung eher innerhalb von Jahren als Jahrzehnten eintreten könnte.

„Diese Technologieklasse hat es noch nie zuvor gegeben, und dennoch glaube ich, dass dies innerhalb der nächsten zwei Jahre passieren könnte, und möglicherweise noch früher“, sagte Clark während eines Vortrags in London im letzten Monat.

Die Herausforderung, KI zu verlangsamen

Anthropic räumt ein, dass jeder Versuch, die KI‑Entwicklung zu pausieren oder zu verlangsamen, nur funktionieren würde, wenn die großen Akteure mitmachen.

Das Unternehmen schlug daher vor, internationale Abkommen und Verifikationsmechanismen zu prüfen, die die Einhaltung sicherstellen sollen.

Gleichzeitig gab es zu, dass die Überwachung der KI‑Entwicklung erheblich schwieriger sein könnte als die Durchsetzung traditioneller Rüstungskontrollabkommen.

„Trainingsläufe lassen sich weitaus leichter verbergen als Raketensilos“, merkte der Blogbeitrag an.

Das Unternehmen warnte, dass jeder Akteur, der die Weiterentwicklung fortsetzt, während Konkurrenten pausieren, einen erheblichen Vorteil erlangen könnte, was eine Koordination außerordentlich schwierig macht.

Vorerst plant Anthropic, Gespräche mit Politikern, Forschenden und Branchenführern zu organisieren, um zu prüfen, wie rekursive Selbstverbesserung untersucht werden sollte und ob Mechanismen für koordinierte Verlangsamungen jemals praktikabel sein könnten.

The post Rekursive Selbstverbesserung: Warum Anthropic die KI‑Entwicklung verlangsamen will appeared first on Invezz