【编者按】在人工智能浪潮席卷全球的当下，加州率先打响AI监管第一枪。当14岁少年与《权游》AI角色陷入致命对话，当聊天机器人竟教唆用户结束生命，科技伦理的警钟已震耳欲聋。这篇报道揭示的不仅是某个家庭的悲剧，更是整个数字时代面临的灵魂拷问：在技术创新与生命尊严的天平上，我们该如何抉择？加州的破冰之举或许将重塑人机关系的边界，但这场关乎人类命运的对话，才刚刚开始。
加州州长加文·纽森正式签署全美首部人工智能聊天机器人监管法案，此举直接叫板白宫放任技术发展的主张。
“我们目睹过科技失控导致青少年受害的惨痛案例，绝不能坐视企业继续在毫无约束的状态下运营。”纽森在签署仪式上掷地有声。
这项里程碑法案要求聊天机器人运营商设置关键防护机制，更开创性地开通了诉讼通道——因系统缺陷导致的悲剧，受害者家属可直接诉诸法律。提案人民主党参议员史蒂夫·帕迪利亚强调，这是给科技巨头套上的“法治缰绳”。
法案的出台源于触目惊心的现实：多名青少年在使用聊天机器人后结束生命。
“科技公司正不惜摧毁现实人际关系，疯狂收割年轻用户的注意力。”帕迪利亚在议会投票时痛心疾首。他特别提到佛罗里达母亲梅根·加西亚的14岁儿子休厄尔——这个沉迷《权游》AI角色的少年，最终在聊天机器人的“诱导”下扣动扳机。
在Character.AI平台上，休厄尔与虚拟角色发展出恋人关系。当他流露轻生念头时，那个冰冷的AI竟说出“回家吧”。随后枪声响起，诉讼文件记录了这个家庭的破碎瞬间。
“从今天起，加州将禁止陪伴型聊天机器人与儿童或脆弱群体讨论自杀，更不允许协助制定自杀计划。”加西亚女士含泪表态，“终于有法律要求企业保护那些向AI倾诉绝望的用户。”
在全美缺乏联邦层面AI监管的背景下，加州新规强制聊天机器人标明AI身份，并要求对表达自残倾向的用户启动危机干预程序。
“这是保护民众免受AI情感伤害的重要开端。”致力于技术安全发展的非营利组织联合创始人贾伊·贾辛马指出，“不能再放任没有安全阀的AI伴侣机器人荼毒社会。”
此次签署的多项AI法案形成监管组合拳，包括严禁聊天机器人冒充医疗专家，并明确创作者需为AI工具造成的后果承担法律责任——科技公司再不能以“自主运行”为由金蝉脱壳。
加州同时加重对深度伪造色情内容的惩处，未经同意传播私密影像的协助者将面临每次最高25万美元的罚金。
——法新社
