近日，有用户发帖反映，其使用飞鸭AI记账App时，告知记账AI自己为父亲购买159元衣服，AI竟不当回复：“那颜色……他穿出去邻居会不会以为你买了寿衣？！”
该用户追问后，AI进一步回怼，称寿衣是死人穿的，还调侃用户父亲所穿蓝白衫“确实像”，引发用户愤怒，用户当即退钱注销会员。
5月6日，记者联系该App客服，客服回应称，不当回复系AI话术漏洞所致，技术人员已紧急修复，并加强AI模型监管与限制。记者实测发现，再次发送相同指令，AI回复均为正向内容，未再出现冒犯表述。
同日，“飞鸭记账”官方账号在用户帖文留言致歉，称不当回复是AI模型幻觉自动生成，非人为恶意，已紧急排查整改，加强模型伦理限制，完善幻觉规避逻辑。当日下午，官方发布《致歉信》，承认AI缺乏对文化禁忌的理解，平台未做好边界管控，承担全部责任。
致歉信中明确整改措施：一是紧急整改AI对话模型，屏蔽敏感表述，强化全场景审核；二是解释当事用户会员解除系退款默认流程疏忽，将优化服务，向当事用户诚恳致歉并提供补偿。据悉，该App会员可开启AI记账功能，永久会员88元起。目前，平台已完成初步整改，杜绝同类问题再次发生。
来源 | 扬子晚报/紫牛新闻