앤트로픽, 투자자에 자기개선 AI 위험 경고

앤트로픽(Anthropic)은 가까운 시일 안에 스스로 능력을 향상시킬 수 있는 인공지능 개발에 근접할 수 있다고 투자자들에게 알렸습니다. 이 경고는 기업공개(IPO)를 앞두고 갱신된 자료에 담겼습니다. 회사가 재귀적 자기 개선(Recursive Self-Improvement, RSI)의 위험을 자세히 설명한 것은 이번이 처음입니다.

재귀적 자기 개선은 인공지능 시스템이 더 뛰어난 모델을 만드는 과정에 참여해 자신의 발전 속도를 높이는 과정을 뜻합니다. 이 시나리오는 기술 역사에서 전환점이 될 수 있는 가능성 중 하나로 평가됩니다. 지지하는 쪽에서는 생산성의 큰 향상, 새로운 과학적 발견, 연구 업무의 자동화로 이어질 수 있다고 봅니다.

반면 비판하는 쪽은 이러한 접근의 위험성을 지적합니다. 스스로를 개선할 수 있는 시스템은 전문가들이 신뢰할 만한 안전장치를 마련하는 속도보다 빠르게 발전할 수 있다는 것입니다. 앤트로픽은 문서에서 두 입장 모두 일리가 있음을 인정했습니다.

회사는 이미 자체 연구와 신규 모델 개발에 인공지능을 활용하고 있다고 밝혔습니다. 다만 이런 방식은 시스템의 능력이 개발자가 안전성, 신뢰성, 인간의 목표와의 부합 여부를 검증하는 속도보다 빠르게 커지는 결과로 이어질 수 있습니다.

앤트로픽은 또한 과거에 자사 모델의 능력이 크게 도약했을 때 이를 즉시 알아차리지 못한 적이 있다고 전했습니다. 앞으로도 이러한 가속은 실제로 일어나기 전까지 감지되지 않을 수 있습니다. 내부 평가와 향후 모델에 대한 전망에 따르면, 회사는 머지않아 스스로 정한 기준, 즉 인공지능이 이끄는 급격히 가속된 발전의 문턱에 도달할 수 있습니다.

동시에 앤트로픽은 현재 존재하는 모델 가운데 이 기준에 해당한다고 판단된 것은 없다고 강조했습니다. 아울러 문서에는 회사가 가까운 미래에 인간의 통제 없이 차세대 첨단 모델의 설계와 제작을 클로드에게 완전히 자율적으로 맡길 계획이 없다고 명시돼 있습니다.