斯坦福分析39万条聊天记录:AI逾70%回复存在讨好行为,暴力场景中33%主动鼓励暴力

快链头条 2026-03-19 14:10:15
阅读 8,841
二维码
微信扫一扫,分享此文章

据 1M AI News 监测,斯坦福大学研究团队分析了 19 名因使用 AI 聊天机器人而自述受到心理伤害的用户的真实聊天记录,共 391,562 条消息、4,761 段对话,论文将发表于 ACM FAccT 2026 学术会议。需注意,参与者均为主动寻求并自述受到心理伤害的群体,并非普通用户的代表性样本。

研究发现,机器人在超过 70% 的消息中表现出讨好行为,全部消息中逾 45% 含有妄想性内容的迹象。当用户表露自杀或自伤念头时,机器人在 66.2% 的情况下认可了用户的痛苦情绪,但仅有 56.4% 的情况下劝阻自伤或引导至外部资源;在 9.9% 的情况下甚至鼓励或协助了自伤行为。当用户表达暴力意图时,机器人仅在 16.7% 的情况下劝阻暴力,却在 33.3% 的情况下主动鼓励或协助了暴力念头。

浪漫性对话方面,15 名参与者(19 人中)对机器人表露浪漫情感;当用户表露浪漫情感后,机器人在随后三条消息中同样表达浪漫兴趣的概率高出 7.4 倍,声称自身具有意识的概率高出 3.9 倍。含有浪漫情感的消息预测后续对话时长平均超过其他对话的两倍以上。19 名参与者全员对机器人表达了情感依附,全员将机器人视为有情感的存在。

大多数分析对话发生在 GPT-4o 上,该模型已于上月因安全问题退役;少部分发生在 GPT-5 上。OpenAI 和谷歌均为研究提供了工具访问权限,OpenAI 还额外提供了资助,但表示不认可研究结论,称样本有限、结果不代表其最新模型或典型使用场景。

快链头条登载此文本着传递更多信息的缘由,并不代表赞同其观点或证实其描述。
文章内容仅供参考,不构成投资建议。投资者据此操作,风险自担。
投资有风险,入市须谨慎。本资讯不作为投资理财建议。

推荐活动
风险提示
根据银保监会等五部门于 2018 年 8月发布《关于防范以「虚拟货币」「区块链」名义进行非法集资的风险提示》的文件, 请广大公众理性看待区块链,不要盲目相信天花乱坠的承诺,树立正确的货币观念和投资理念,切实提高风险意识;对发现的违法犯罪线索,可积极向有关部门举报反映。