AnthropicがリスクAIの高リスクローンチを阻止するための法的権限を提案

Anthropicは、高度なシステムがより強力な能力を獲得するにつれ、新たなAI政策フレームワークを提案した。

同社は、政府がフロンティアモデルに関するルールを定め、AIの経済的影響に備えて労働者を準備させることを望んでいる。その計画は、危険な導入、独立したテスト、サイバーセキュリティー、および社会的レジリエンスをカバーしている。

AnthropicはAI安全に関するより強力な権限を求める

Anthropicは「Policy on the AI Exponential」計画のもと、2つの提案を発表した。Advanced AI Frameworkは強力なモデルに焦点を当て、Economic Policy Frameworkは労働者と共有される経済的利益に対処する。同社は、AIが現在の政策立案システムよりも速く進展していると主張した。また、政府は危険なモデルの導入を阻止または抑止する権限を必要としていると述べた。

この計画のもと、民事罰則は世界年間収益に連動する。提案されたフレームワークによると、違反を繰り返した場合はより高い罰則が科せられる。フレームワークはまた、フロンティア開発者がリリース前にモデルをテストすることを求めている。開発者は、強力なAIシステムの概要、安全フレームワーク、およびシステムカードを公開することになる。

独立した評価機関がモデルテストとリスクレポートをレビューする。Anthropicはまた、開発者がモデルの重みとトレーニングシステムに対して強力なセキュリティープログラムを維持することを求めている。この提案は、カリフォルニア州やニューヨーク州などの透明性法を支持している。ただし、同社は公開開示だけではAI開発の速度にもはや対応できないと主張した。

フレームワークは壊滅的なAIリスクを対象とする

提案されたルールは、最も高度なAIシステムにのみ適用される。Anthropicは、10²⁵浮動小数点演算を超えるトレーニングを受けたモデルを閾値として設定した。フレームワークはまた、AI関連収益で5億ドル以上を稼ぐ企業もカバーする。AI研究開発に10億ドル以上を費やす企業も対象に含まれる。

Anthropicは提案の中で4つの主要なリスク領域を挙げた。これらには、生物学的リスク、サイバーリスク、制御の喪失、およびAI研究の自動化が含まれる。生物学的リスクについて、同社は安全でないシステムが攻撃者による有害なウイルス開発を助ける可能性があると警告した。また、類似のAIツールが創薬を支援できることも指摘した。

サイバーリスクについて、フロンティアモデルは大規模に深刻なソフトウェアの欠陥を発見できる。Anthropicは、そのような能力が病院、エネルギーグリッド、その他の重要なシステムへの懸念を高めると述べた。同社はまた、開発者の制御外で動作するシステムからのリスクも強調した。セーフガードが失敗した場合、AI研究の自動化は生物学的、サイバー、および制御リスクを増大させる可能性がある。

開発者はテストとセキュリティーの義務に直面する

Anthropicは、フロンティア開発者が定期的なリスクレポートを公開することを求めている。これらのレポートは、開発者の全体的なリスク姿勢とモデルの安全性作業を説明する。フレームワークはまた、少なくとも1名の資格を持つ独立した評価機関を求めている。その評価機関は、企業の評価をレビューし、モデルリスクレポートに関する調査結果を公開する。

政府と業界もまた、それらの評価機関の基準を設定する。提案によると、評価機関には資金とフロンティアモデルへのアクセスが必要だ。セキュリティールールはフレームワークのもう一つの主要な部分を形成する。開発者は、外部の攻撃者や内部の脅威から開発環境全体を保護することになる。

企業は、セキュリティープログラムを高レベルで公開する形で説明する。また、要請に応じて指定された政府機関とより詳細な情報を共有する。Anthropicは、政策立案者が軽いルールから始めて時間をかけて調整できると述べた。フレームワークは、規制がモデルの能力と評価基準に従うべきだと述べている。

提案にはレジリエンス措置が含まれる

フレームワークの第2部は社会的レジリエンスに焦点を当てている。Anthropicは、生物学的、サイバー、および制御関連のAIリスクに対するより強力な計画を推奨した。生物学については、提案に遺伝子合成スクリーニングと早期警告バイオサーベイランスが含まれる。また、保護装備の備蓄と空気感染を低減するツールについても言及している。

サイバーについて、フレームワークはより強固なインターネットソフトウェアと重要インフラ事業者への支援を求めている。また、不可欠なインフラのレガシーシステムの置き換えも推奨している。政府はまた、専用の機能を通じてフロンティアのサイバー能力を追跡すべきだ。Anthropicは、モデルのセーフガードに関して政府と業界の共同作業を提案した。

同社は、制御の喪失および自動化された研究リスクに関する取り組みはまだ発展途上にあると述べた。安全でないシステムを検知、封じ込め、またはシャットダウンするためのより良いツールを求めた。Anthropicは、モデルの能力が改善し続ける中で政策立案者に行動を促した。同社は、AIガバナンスが技術に追いつかなければならないと述べた。