Anthropic warnt Anleger vor sich selbst verbessernder KI

Das Unternehmen Anthropic hat Investoren mitgeteilt, dass es in absehbarer Zeit der Entwicklung einer künstlichen Intelligenz näherkommen könnte, die ihre eigenen Fähigkeiten selbstständig verbessert. Die Warnung steht in aktualisierten Unterlagen, die im Zusammenhang mit dem geplanten Börsengang erstellt wurden. Erstmals beschreibt das Unternehmen das Risiko der rekursiven Selbstverbesserung (Recursive Self-Improvement, RSI) ausführlich.

Gemeint ist ein Prozess, bei dem ein KI-System an der Entwicklung immer leistungsfähigerer Modelle mitwirkt und damit seine eigene Weiterentwicklung beschleunigt. Dieses Szenario gilt als einer der möglichen Wendepunkte in der Technologiegeschichte. Befürworter verbinden damit einen deutlichen Produktivitätszuwachs, neue wissenschaftliche Entdeckungen und die Automatisierung der Forschungsarbeit.

Kritiker verweisen ihrerseits auf die Gefahren dieses Ansatzes. Ihrer Ansicht nach könnten Systeme, die sich selbst verbessern, sich schneller entwickeln, als Fachleute verlässliche Sicherheitsmechanismen aufbauen können. Anthropic räumt in seinen Dokumenten ein, dass beide Sichtweisen berechtigt sind.

Das Unternehmen erklärte, bereits jetzt künstliche Intelligenz in der eigenen Forschung und bei der Entwicklung neuer Modelle einzusetzen. Eine solche Praxis kann jedoch dazu führen, dass die Fähigkeiten der Systeme schneller wachsen, als die Entwickler deren Sicherheit, Zuverlässigkeit und Übereinstimmung mit menschlichen Zielen prüfen können.

Anthropic teilte außerdem mit, dass erhebliche Fähigkeitssprünge seiner Modelle in der Vergangenheit nicht sofort bemerkt wurden. Auch künftig könnten solche Beschleunigungen unentdeckt bleiben, bis sie tatsächlich eingetreten sind. Interne Bewertungen und Prognosen zu künftigen Modellen deuten darauf hin, dass das Unternehmen in naher Zukunft die von ihm festgelegte Schwelle eines stark beschleunigten, durch künstliche Intelligenz getriebenen Fortschritts erreichen könnte.

Zugleich betont Anthropic, dass bislang kein bestehendes Modell als diesem Kriterium entsprechend eingestuft wurde. Zudem heißt es in den Dokumenten, dass das Unternehmen in absehbarer Zeit nicht plant, Claude den vollständig autonomen Entwurf und Aufbau der nächsten Generationen fortschrittlicher Modelle ohne menschliche Kontrolle zu übertragen.