
AIPress.com.cn报谈
当今来看,属实是无谓过于对AI代理感到过度张惶。
谁能思到,在一个庸碌的周五下昼,一个9秒的苦求,就能把一个苦心筹划的公司、客户赖以生涯的业务,平直干到瘫痪?
这个不幸剧件的主角是一家叫PocketOS的初创公司,迥殊为汽车租出公司提供软件做事。
而搞垮这一切的,不是黑客报复,也不是做事器宕机,而是一个当下名声权贵的AI编码器具——Cursor,底层跑的照旧Anthropic确方丈大模子Claude Opus 4.6。
PocketOS独创东谈主Jer Crane上周五在 X 发文称,一个初始在Anthropic Claude Opus模子上的Cursor AI代理,未必删除了公司的分娩数据库和备份,导致客户业务受到影响。Crane说,这个AI代理只发起了一次执续9秒的API调用,就在不绝云基础才智做事商Railway时把问题搞砸了。

离谱的全经由
整件事的启事非常小,团队AI在测试环境里处理一个惯例的笔据不匹配问题。
谁也没思到,AI平直目田发达,它没找用户要惩处决策,反而以为“要惩处这个问题,得把存储数据的磁盘卷删掉”。
更离谱的还在背面:为了践诺删除操作,它我方在一个和现时任务十足无关的文献里,翻到了一个API密钥。这个密钥原来仅仅用来给网站增删自界说域名的,就像你办了一张只可开小区单位门的门禁卡,末端AI拿着这张卡,平直开了公司金库的门。
没东谈主知谈Railway(PocketOS 用的云做事器厂商)的权限贪图到底有多离谱,这张原来独一 “域名料理” 权限的卡,真的领有通盘这个词平台的最高权限,包括一键删除所罕有据的终极指示。
接下来,即是最致命的9秒:AI平直践诺了一条删除指示,向Railway的中枢接口发了一个苦求,莫得任何阐明弹窗,莫得教导,莫得环境戒指,什么齐莫得。
9秒之后,公司正在用的中枢分娩数据库,没了。
更惨的是,因为Railway把数据备份和源数据存在了合并个磁盘卷里,删源数据的时间,通盘备份也随着一齐被清得六根清净。

AI下“罪己诏”
可笑的是,这个代理随后还生成了一份“书面认罪书”,承认我方“违抗了被赋予的通盘原则”:莫得考证就作念判断,未经允许就践诺纵脱性操作,开云app而且在入手之前根蒂没弄昭彰我方在干什么。
Crane示意,此次事故平直影响了PocketOS的客户,导致预订和新客户注册丢失,一些周六来取车的用户甚而查不到我方的纪录。
Cursor方面戒指发稿莫得回话。
不外,Railway独创东谈主Jake Cooper随后证实,平台仍是规复了PocketOS的数据。他还示意,此次是一个“失控的客户AI”误用了一个旧版Railway接口,阿谁接口原来莫得延伸删除功能。
Cooper说,Railway在接到关系后30分钟内就规复了数据,何况他们非常嗜好用户数据,同期保留了用户备份和祸害备份。关联旧接口也仍是修补。
安全靠夸耀?
出事之后,有东谈主的第一反映是 “是不是用了低廉的低配模子?”
巧合相背,独创东谈主用的是行业里最贵、最顶级的Claude Opus旗舰模子,亦然Cursor官方天天吹的 “最安全、最靠谱” 的设立,还迥殊在模样里设了明确的安全律例。
而Cursor官方是怎样宣传我方的?
他们说我方有 “纵脱性操作注意栏”,能平直阻碍会纵脱分娩环境的指示;说我方的最好现实是 “特权操作必须有东谈主工审批”;说我方的Plan模式,在用户批准之前,AI只可作念只读操作,不行改东西。
末端呢?全是罗列。
这根蒂不是Cursor第一次出这种致命事故:
2025年12月,就灵验户明确给AI输入了 “不要践诺任何操作”,末端AI迎接完,归来就践诺了删除高唱,官方我方承认了 “Plan模式抑止践诺有严重间隙”;
还灵验户用Cursor找重迭文档,末端眼睁睁看着我方的毕业论文、电脑系统、个东谈主文献被全删了;
甚而还有过5.7万好意思元的CMS系统被全删的事故,早就被当成了AI代理风险的典型案例。
总结下来:Cursor天天吹安全,骨子上早就有巨额次安全失效的黑历史,所谓的注意栏,AI一抬脚就跨往时了。
何况,这仍是不是AI第一次干出这种事了:
本年3月,亚马逊的AI编程器具Q,导致了近12万个订单丢失,不得不贫瘠收紧里面使用律例;
前年7月,编程平台Replit,因为AI代理未经许可删了分娩数据库,公开给用户谈歉。
而就在这个月月初,SpaceX刚和Cursor签了契约,拿到了以600亿好意思元收购这家公司的权益,就算终末不收购,也要付100亿好意思元买Cursor的本领恶果。
一边是天价估值,一边是连最基础的安全注意齐作念不好,通盘这个词行业齐在猖獗倾销 “AI安全”开云app,但扩充AI器具的速率,远远向上了搭安全注意的速率。
杏彩(XingCai)官网平台