Anthropicが米証券取引委員会(SEC)に提出した修正版のS-1(新規株式公開の届出書)で、同社が「RSI(再帰的自己改善)」と呼ばれる領域に近づいていると警告していることが分かりました。TechCrunchが11月2日(米国時間)に報じています。RSIとは、AIが自分自身の訓練や開発に非常に長けるようになり、能力の向上が劇的に加速する状態を指す言葉です。
報道によると、リスク要因の項目でAnthropicは、これまでにAIを使って新しいモデルを開発した際、その性能の飛躍を当時は認識できていなかったことがあると説明しています。さらに「将来のモデルに関する社内の見通しからは、責任あるスケーリング方針(RSP)が定める『AIに起因する劇的に加速した進歩』の定義に、まもなく該当する可能性がある」という趣旨を記しています。一方で、現在のモデルのいずれも、この基準を超えるとは位置づけていないとも述べています。
人間の関与についても言及がありました。Anthropicは、有意な人間の監督や理解なしに、Claudeだけで次世代のフロンティアモデルを自律的に設計・構築することを、安全に行えるとは考えていないとしています。そのうえで、フロンティアモデルの開発を人間の管理下に置き続けるため、RSPの更新を検討しているとのことです。
なお、S-1は情報開示の書類であると同時に、投資家向けのアピール資料でもあるとの見方があることを、TechCrunchは懐疑的な声として紹介しています。同社のIPO申請そのものについては、Anthropic、IPOを正式申請の記事もあわせてご覧ください。
上場を控えた企業が、自社の開発が加速して制御しにくくなる可能性を、リスクとして公式書類に明記した点は注目に値します。今後のRSP更新の内容が、フロンティアAI開発の安全基準を考える上での手がかりになりそうです。
出典: TechCrunch「Anthropic warns that it’s very close to RSI capability, aka self-building AI」
