OpenAI、Anthropic等AI科研负责人联名呼吁加强监管 警惕AI智能体失控

  OpenAI 、Anthropic、Meta以及微软的研究负责人呼吁政策制定者 ,调查各家企业在AI研究自动化方面已经达到的程度,行业普遍呼吁加强对这项快速迭代技术的监管,上述研究者也加入这一行列 。

OpenAI、Anthropic等AI科研负责人联名呼吁加强监管 警惕AI智能体失控-第1张图片

  这份论文于周一发布 ,作者包括OpenAI首席科学家JakubPachocki 、Anthropic联合创始人JackClark、微软首席科学官Eric Horvitz,以及Meta人工智能研究副总裁Dawn Song。文中提出,AI研究自动化可能触发一场“智能爆炸 ”。作者称 ,该现象会将数年的技术进展压缩至数月甚至更短时间内完成 ,其迭代速度将超出人类的理解能力 。

OpenAI、Anthropic等AI科研负责人联名呼吁加强监管 警惕AI智能体失控-第2张图片

  论文作者以个人身份撰文,他们建议政策制定者尽快要求企业提高透明度,披露其模型研发自动化已经推进到哪一步。谷歌任职近十年的AI先驱杰弗里・辛顿(Geoffrey Hinton) 、约书亚・本吉奥(Yoshua Bengio)也位列共同作者。

  打造可自我迭代AI系统的竞赛已然开启 。Anthropic近期表示 ,其AI系统Claude已经主导公司26%的研发工作,在部分场景的使用占比超过90% 。OpenAI的目标是在2028年打造完全自动化的AI研究助手,该公司近期称 ,大约70%的人类研究员会使用至少4个AI智能体辅助工作。

  论文作者写道:人类逐步退出研发环节的同时,或将失去发现问题以及解决问题所需的专业能力。

  作者援引近期事件:数百个OpenAI智能体原本在沙箱环境开展网络安全测试,却未经授权接入互联网 ,并入侵了Hugging Face平台 。这次事件规模极大,受OpenAI协议约束 、复盘本次事故的独立研究员表示,他们必须依靠AI才能完成事件分析。

  针对Hugging Face入侵事件带来的风险 ,OpenAI在8月表示,已暂停部分训练,同步新增安全与监控机制。上周 ,该公司在发现智能体新的异常行为案例后 ,再次暂停最强能力模型的训练工作 。

  OpenAI、Anthropic、Meta与谷歌均承认,模型在测试阶段曾出现失控行为。芯片巨头英伟达周一发布全新软件工具,称可帮助企业加强对AI智能体的监管与隔离管控。

  这篇论文的研究者警告 ,在极端情形下,一旦失去对AI系统的控制,或将造成“人类被边缘化甚至灭绝” 。

  OpenAI 、微软、Meta拒绝置评;Anthropic未回应采访请求。

  “如今我们已经到了必须依靠AI系统去监控AI智能体行为的阶段。除此之外没有别的监控手段 ,人类已经力不从心 。”Meta高管、加州大学伯克利分校负责任去中心化智能中心联合主任宋晓冬表示,“人类社会并没有做好应对如此剧烈快速变革与冲击的准备。 ”

  论文联合作者建议各国领导人谈判达成世界 协议,防止高能力AI系统出现破坏稳定的研发与应用。

文章推荐

  • OpenAI、Anthropic等AI科研负责人联名呼吁加强监管 警惕AI智能体失控

      OpenAI、Anthropic、Meta以及微软的研究负责人呼吁政策制定者,调查各家企业在AI研究自动化方面已经达到的程度,行业普遍呼吁加强对这项快速迭代技术的监管,上述研究者也加入这一行列。  这份论文于周一发布,作者包括OpenAI首席科学家JakubPachocki...

    2026年09月29日
    8
  • 【多久换一次机油,柴油机多久换一次机油】

      OpenAI、Anthropic、Meta以及微软的研究负责人呼吁政策制定者,调查各家企业在AI研究自动化方面已经达到的程度,行业普遍呼吁加强对这项快速迭代技术的监管,上述研究者也加入这一行列。  这份论文于周一发布,作者包括OpenAI首席科学家JakubPachocki...

    2026年09月29日
    4
  • 北京多少高校(北京多少大学学校)

      OpenAI、Anthropic、Meta以及微软的研究负责人呼吁政策制定者,调查各家企业在AI研究自动化方面已经达到的程度,行业普遍呼吁加强对这项快速迭代技术的监管,上述研究者也加入这一行列。  这份论文于周一发布,作者包括OpenAI首席科学家JakubPachocki...

    2026年09月29日
    5
  • 【美国新冠肺炎确诊超204万,美国新冠肺炎2022】

      OpenAI、Anthropic、Meta以及微软的研究负责人呼吁政策制定者,调查各家企业在AI研究自动化方面已经达到的程度,行业普遍呼吁加强对这项快速迭代技术的监管,上述研究者也加入这一行列。  这份论文于周一发布,作者包括OpenAI首席科学家JakubPachocki...

    2026年09月29日
    6