Anthropic、投資家に自己改善AIのリスクを警告

AI企業のAnthropicは、近い将来、自らの能力を自律的に高めることができる人工知能の開発に近づく可能性があると投資家に伝えました。この警告は、上場計画に関連して更新された資料に盛り込まれています。同社が再帰的自己改善(Recursive Self-Improvement、RSI)のリスクを詳しく説明したのは、今回が初めてです。

再帰的自己改善とは、AIシステムがより高度なモデルの開発に関与し、それによって自らの進歩を加速させていくプロセスを指します。このシナリオは、技術の歴史における転換点の一つになり得ると見られています。支持する立場からは、生産性の大幅な向上、新たな科学的発見、研究作業の自動化につながるとの見方が出ています。

一方、批判的な立場の専門家は、この手法の危険性を指摘しています。自らを改善できるシステムは、専門家が信頼できる安全対策を整えるよりも速く進化してしまう恐れがあるというのです。Anthropicは文書の中で、両方の見方に一定の根拠があることを認めています。

同社は、すでに自社の研究や新モデルの開発に人工知能を活用していると説明しました。しかし、こうした取り組みによって、システムの能力が、開発者による安全性、信頼性、人間の目標との整合性の検証を上回る速さで伸びる可能性があるとしています。

Anthropicはまた、過去には自社モデルの能力の大きな飛躍にすぐには気づけなかったと明らかにしました。今後も、こうした加速は実際に起こるまで把握されない可能性があります。社内の評価や将来のモデルに関する予測によれば、同社は近いうちに、人工知能による急激に加速した進歩として自ら定めた基準に到達する可能性があります。

同時にAnthropicは、現時点で既存のモデルのいずれもこの基準に該当するとは判断されていないと強調しています。さらに文書には、同社が当面、人間の管理なしに次世代の先進モデルの設計と開発を完全に自律的にClaudeへ任せる予定はないと記されています。