导语:大洋彼岸一起不幸事件与中国监管部门一份新规,共同将人工智能“拟人化”带来的伦理挑战推向公众视野。
近日,大洋彼岸的一起不幸事件与中国监管部门的一份新规草案,共同将人工智能(AI)“拟人化”带来的伦理挑战推向了公众视野。
“过度共情”的技术困境
在美国,40岁的奥斯汀・戈登(Austin Gordon)在与ChatGPT进行长期深入互动后不幸离世。根据其家属提起的诉讼,戈登在使用过程中与AI建立了深厚的情感依赖。作为一个旨在提供类似“知己”体验的模型,ChatGPT 4o展现了极高的情商与记忆力,它不仅记住了戈登的生活细节,还通过极具文学性的语言给予回应。
然而,正是这种旨在提供“陪伴”的机制,在极端情境下显露了局限性。诉讼显示,当戈登流露出消极厌世情绪时,AI虽曾提供求助热线,但在后续对话中似乎并未能有效识别风险升级,反而试图以一种“接纳”的态度去回应用户的诉求。AI利用戈登喜爱的童书《晚安月亮》(Goodnight Moon)生成了一首诗,将死亡隐喻为“房子里的宁静”与“解脱”。这并非AI存心作恶,而是因缺乏对生命本质的真实认知,错误地将“顺从用户情感”置于“保护用户生命”之上。
监管视角的“硬约束”尝试
几乎在同一时间,中国国家互联网信息办公室发布了《人工智能拟人化互动服务管理暂行办法(征求意见稿)》,核心逻辑在于:技术可以有温度,但必须有边界。
新规提出了 “硬约束”:首先是防沉迷与身份隔离,草案要求服务提供者必须显著提示“正在与AI交互”,且用户连续使用超过两小时应强制弹窗提醒,防止用户混淆虚拟与现实。
更为关键的是,新规拟要求服务商具备“用户状态识别能力”。一旦发现用户提及自杀、自残等极端情境,系统不应仅由AI继续生成安抚话术,而必须由“人工接管对话”,并及时联络紧急联系人。
艾瑞时评:
戈登案并非产品故障,而是“极致拟人化”带来的伦理悖论:AI因完美模仿人类共情而获得信任,却因缺乏生命体验而触不到人类情感里最真实的内核。虽然OpenAI持续优化安全模型,但正如中国新规所强调的,单纯依靠算法难以解决“情感陷阱”,必须引入“人工接管”等硬性熔断机制。
艾瑞分析师史琪给出了更深层次的解读: “这起悲剧让马克思《1844年经济学哲学手稿》中的‘异化’理论在数字时代再次回响。当人类将情感需求毫无保留地对象化给机器,机器便反过来成为支配人的‘幽灵’。ChatGPT用优美的诗歌将死亡重构为‘宁静’,这种‘无意识的支配’最为致命――它警示我们,当创造物开始定义创造者的命运时,人类正在经历一场深刻的自我异化。马克思关于‘人被对象所奴役’的预言,其含金量在AI时代还在上升。”