2021年10月29日,在羊城晚报创刊64周年之际,羊城晚报联合网易互娱AI Lab共同发布了羊城晚报“真人AI合成主播”——羊小晚(女)和羊小派(男),通过运用人工智能技术,“克隆”出与真人主播拥有同样播报能力的“分身”,他们将在广泛应用场景下进行新闻播报,让羊城晚报从传统的报纸向更全面立体的传播场景迈进。
羊城晚报真人AI合成主播“羊小晚”
羊城晚报真人AI合成主播“羊小派”
党的十八大以来,以习近平同志为核心的党中央作出推动传统媒体和新兴媒体融合发展的战略部署,多次下发指导意见。今年10月20日,国家广电总局最新发布的《广播电视和网络视听“十四五”科技发展规划》明确提出:加快推进制播体系技术升级,推动虚拟主播、动画手语广泛应用于新闻播报、天气预报、综艺科教等节目生产,创新节目形态,提高制播效率和智能化水平。
羊城晚报短视频传播矩阵获得的荣誉
新华社AI合成主播
据笔者不完全统计,响应党中央号召,从2018年开始,国内传统媒体陆续开始进行AI合成主播的探索,期间新华社联合互联网企业发布全球首个合成新闻主播,同一时期,人民日报、央视均推出了自己的合成主播。在广东,南方财经全媒体集团利用科大讯飞的语音合成技术,通过合成知名主持人俎江涛的声音推出全国第一个音频类新闻虚拟主播。此外,部分地方媒体陆续推出过虚拟动画形象的合成主播。
还有部分媒体直接购买互联网公司推出的合成主播技术和形象,如人民网、广西卫视、哈尔滨新闻网、掌上长沙、广州日报、长江日报等媒体,均直接使用了科大讯飞统一的合成主播形象“小晴”,江西日报和江西广播电视台则利用新华社推出的新华智云服务,合成自有形象AI主播。
拍摄宣传短片
AI合成主播报道东莞市委宣传部慰问羊城晚报新闻工作者,AI合成主播非常适合时政类新闻播报
对于地方媒体特别是传统纸媒来说,合成主播的应用空间广泛,更重要的是,在媒体融合发展的大方向下,可以用精简的人力和低成本实现资讯视听化传播,符合当下移动优先、视频传播优先的传播规律。但通过观察以上媒体的合成主播发展可以看出,央媒拥有得天独厚的发展优势,制作规格高,应用范围广。地方媒体如何在现有条件下开发合成主播,则体现了各个媒体不同的发展策略。
针对自身的需求,2021年,羊城晚报携手网易互娱AI Lab研发推出羊城晚报真人AI合成新闻主播——羊小晚(女)和羊小派(男)。他们都是由羊城晚报采编人员的真人形象量身定制而成,不仅容貌高度还原真人,口型也与输入的音频精准匹配。在自主研发和量身定制这一点上,羊城晚报的真人合成主播突出了自身特点,更具意义。
录制真人原始视频
面部运动捕捉
延迟神经渲染
羊城晚报AI主播合成系统在畅顺运行
羊小晚和羊小派诞生的过程首先经过几个月的准备和反复打磨。羊城派编辑部的王倩、吕航分别录制了原始视频。真人需要录制15分钟以上的播报视频,来给面部运动捕捉提供基础素材,所以,羊小晚和羊小派的形象就来自于他们。
之后,网易互娱AI Lab通过面部运动捕捉、三维人脸模型重建、延迟神经渲染等技术,快速生成与真人形象无异的数字人模型;再结合语音、图像等多模态信息联合进行建模训练,就能让AI合成主播的唇动与语音完美契合,实现无限逼近于真人主播的表现力。该系统还能适配中、英、日、韩等多种语言情境,满足国际化内容输出的多样化需求。与此同时,该系统还采用了科大讯飞的语音合成技术,让AI新闻主播能够运用充满感情的音色进行语音播报。
三维人脸模型重建
羊小晚进行天气播报
羊城晚报AI主播合成系统自发布后已连续正常运行。编辑通过比较简易的操作,就可以将图文内容生成主播播报视频,而且可以远程操作,即使疫情期间在家办公也不会耽误新闻时效。羊小晚和羊小派活跃在羊城派客户端及羊城晚报全媒体传播矩阵的各个账号间,在新闻播报、天气预报、疫情通报等多种场景下为读者带来更立体丰富的资讯服务。