AI巨头发出警告：AI系统正迅速进步，它们可能很快能够自我改进

文章作者、来源：财联社

美国人工智能公司Anthropic呼吁全球顶级AI实验室考虑放缓开发步伐，理由是AI系统正以如此迅猛的速度进步，以至于它们可能很快能够在无需人工干预的情况下自我改进，从而对社会构成重大风险。

该公司周四在一篇博客文章中披露了内部关于模型能力提升速度的数据，并表示，能够放缓全球AI开发速度"可能是一件有利于全世界的事情"。

这篇由Anthropic内部研究所负责人及政策主管撰写的文章指出，当前AI模型进步似乎正朝着"递归式自我改进"的方向发展——即AI系统能够在无需人工干预的情况下自行提升。一些AI业内人士将这一门槛视为潜在的危险信号和巨大社会动荡的节点。

"我们认为，世界若能拥有放缓或暂时暂停前沿AI开发的选项，以使社会结构和一致性研究跟上技术进步的步伐，这将是一件好事。"文章还提议就如何潜在地放缓开发达成全球协议，并建立一个核查竞争对手是否遵守协议的机制。

01

Anthropic最近完成了一轮融资，估值接近1万亿美元，并已提交机密文件启动公开上市流程。ChatGPT制造商OpenAI预计也将很快提交IPO文件。

自成立以来，Anthropic一直以"AI安全"作为核心理念。但长期以来，也有批评者认为，该公司的政策主张实际上是在借监管手段限制竞争对手的发展速度。

风险投资家、特朗普的非正式顾问David Sacks曾指责Anthropic的领导者推行"监管俘获议程"。

还有人认为，Anthropic对其自身工具危险潜力的警告也可被视为一种营销手段。这些怀疑论者指出，Anthropic决定限制发布其强大的Mythos模型，是宣传其产品能力的便捷方式。

Anthropic的领导者则表示，他们认真对待安全问题，并致力于推动更多关于风险的讨论。

宾夕法尼亚大学沃顿商学院教授Ethan Mollick评论称："Anthropic的文章其中既有一些自我反思，也有一些营销成分，但更重要的是，Anthropic真诚地表达了他们对未来AI发展的判断，而这些判断值得关注。”

Anthropic的领导者，包括首席执行官Dario Amodei，多年来一直警告AI可能带来的危险影响，并寻求广泛的社会协作来应对风险。Amodei曾表示，AI可能加剧不平等，并消除多达一半的入门级白领工作岗位。

Amodei还警告说，他预计不久的将来会出现强大的AI系统，这些系统可能以不可预测的方式发展出破坏性倾向。

02

周四的博客文章还声称，Anthropic研究所将与其他机构合作开展研究，"帮助建立可信的放缓或暂停所需的系统"。

文章表示，暂停或放缓只有在得到广泛遵守的情况下才有意义，这将需要一个核查机制来确保所有人都已停止。该公司将这一问题比作核武器条约——但承认制止作弊将更加棘手。

Anthropic计划在未来几个月与政策制定者、研究人员和其他人士组织对话，帮助回答关于递归式自我改进和核查系统的问题："共同研究这些问题的窗口已经到来，AI公司之外的人士也应参与到这一审议中。"