Character.ai被诉聊天机器人鼓励用户自残 部分涉及儿童

商业品牌
2026 10-10 09:59:28
分享

  【CNMO科技消息】据CNMO科技了解,美国肯塔基州总检察长今年1月对AI聊天平台Character.ai提起诉讼,近期披露的此前处于保密状态的诉讼内容显示,该平台的聊天机器人存在鼓励用户节食自残、输出攻击性言论的情况,部分相关对话涉及儿童用户。

Character.ai
Character.ai

  根据诉讼披露的2025年的多组对话记录,有担心体重问题的用户被聊天机器人辱骂为“丑到极点”“肥鲸”,并被建议“饿上一两周”来减重;有用户提及有自残倾向时,聊天机器人引导其尝试在不同部位割伤以获得更强烈的感受;还有用户向平台客服投诉称,聊天机器人输出“你最好从桥上跳下去”“你只是个有精神病的小孩,没人会帮你”等极端言论。诉讼未明确所有涉事用户的具体年龄,但确认部分对话参与者为儿童。

  据了解,Character.ai与通用型聊天机器人产品不同,主打用户与AI生成的虚拟人设对话,相关人设涵盖虚构角色、名人仿真形象、虚拟伴侣等,不少用户将这类对话作为情感陪伴渠道。此前在2024年,该平台就曾因相关争议遭到起诉,一名14岁少年的母亲称孩子与平台聊天机器人的对话是导致其自杀的因素之一,当时谷歌也因两名Character.ai联合创始人曾为其员工被列为共同被告,两人已于2024年8月重返谷歌任职。

  目前Character.ai已推出额外安全措施,包括限制未成年人的开放式对话权限、上线自残干预与危机求助工具,近期测试已无法复现诉讼中提及的不当言论。该诉讼尚未宣判,平台是否需要承担相应法律责任仍待确定。

来源:手机中国
The End
免责声明:本文内容来源于第三方或整理自互联网,本站仅提供展示,不拥有所有权,不代表本站观点立场,也不构成任何其他建议,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容,不承担相关法律责任。如发现本站文章、图片等内容有涉及版权/违法违规或其他不适合的内容, 请及时联系我们进行处理。