Anthropic、自己改良するAIのリスクを警告

Anthropicは投資家に対し、近い将来、自らの能力を自律的に向上させられる人工知能の開発に近づく可能性があると伝えた。この警告は、上場を見据えて更新された資料に盛り込まれている。同社が再帰的自己改善（Recursive Self-Improvement、RSI）のリスクを詳しく説明したのは、今回が初めてである。

この用語は、AIシステムがより高度なモデルの開発に関与し、それによって自らの発展を加速させていくプロセスを指す。このシナリオは、テクノロジーの歴史における転換点の一つになり得ると考えられている。支持者は、生産性の大幅な向上、新たな科学的発見、研究業務の自動化につながると主張している。

一方、批判的な立場の人々は、こうしたアプローチの危険性を指摘している。彼らの見方では、自らを改良できるシステムは、専門家が信頼性の高い安全対策を構築するよりも速く進化してしまう恐れがある。Anthropicは資料の中で、双方の主張に根拠があることを認めている。

同社は、すでに自社の研究活動や新モデルの開発にAIを活用していると説明した。ただし、こうした手法は、開発者が安全性、信頼性、人間の目標との整合性を評価する能力を、システムの能力の向上が上回る事態を招きかねない。

Anthropicはまた、過去には自社モデルの能力が大きく飛躍した際に、それがすぐには検知されなかったと明らかにした。今後、この種の加速が実際に起きるまで見過ごされる可能性もある。社内の評価や将来のモデルに関する予測では、同社がAIによって大幅に加速される進歩と定義する水準に、近く到達しうることが示されているという。

同時にAnthropicは、現行のどのモデルもその基準を満たすとは判断されていないと強調している。さらに資料では、近い将来、人間の監督なしにClaudeへ次世代の先端モデルの設計と開発を完全に自律して任せる考えはないとしている。