AI客服机器人失控:虚构政策引发用户愤怒

Cursor AI的客服机器人Sam在回应一位用户关于切换设备后登出的问题时,虚构了一项不存在的公司政策。这一误导性回答在Reddit和Hacker News等平台引发轩然大波,导致用户取消订阅和开发者群体的强烈不满。Cursor团队不得不澄清并无此政策,事件凸显了AI在关键决策中的风险。
Image

Cursor AI的客服机器人Sam在回答用户关于设备切换后登出的问题时,自信地声称这是由于一项新政策。然而,这项政策根本不存在——Sam完全捏造了它。

这一误导性回应迅速在Reddit和Hacker News等平台引发愤怒,导致用户取消订阅和开发者群体的强烈不满。Cursor团队不得不紧急澄清,强调不存在这样的政策,并指出依赖AI做出关键决策的风险。该事件为过度信任聊天机器人处理政策事务敲响了警钟。

参考资料