近日，生数科技发布新一代模型 Vidu S2，包含两个部分：负责实时数字人互动的 S2-Avatar，以及面向正在流动的视频画面做实时编辑的 S2-Editing。两者指向同一类场景——直播、虚拟演绎与互动内容，让画面在生成的同时就能被修改。
S2-Avatar 是一款实时交互模型，支持 720p 高清输出。相比前代，这一版增强了对动作指令的遵循能力，也增强了人物的表演能力。舞蹈、特定手势、情绪微表情这几类此前容易失真的内容，是本次升级的重点。
在驱动方式上，语音指令与文本指令都能调动数字人做动作，摆臂、扭身、踏步、抬腿这些基础动作处于可控范围。上传一张真人照片、动漫形象或宠物图片即可创建数字人物，启用麦克风与摄像头权限后，可与创建出的角色直接对话。
更实用的一处改动发生在直播过程中。S2-Avatar 允许在视频流进行中的任意时刻加入物品、服装或背景图片，比如让角色拿起画面里出现的杯子，换上指定服装，或走进一个新场景。数字人主播不必中断直播重开一场，就能完成换装和持品讲解。
S2-Editing 的定位稍有不同，处理的是已经在播放的视频流，只需要一张参考图，就能对画面中的人物服装、背景、风格乃至人物主体做实时替换。官方给出的表述是拍摄即出片、出片即特效。
这解决的是数字人直播长期存在的一个问题。传统数字人直播多依赖预制脚本做机械播报，观众临时提出看上身效果或看细节，系统接不住；换成真人主播，换装的时间与人力成本又推高了单场开销，同一场直播能展示的商品数量也有限。S2-Editing 的做法是让服装参考图直接驱动画面，实时生成多样穿搭效果。
实测中的表现是，上传一张边缘与轮廓清晰的服装参考图后，画面里的角色依次换上了蓝色 POLO 衫、米色大衣、黑色皮衣和棒球服。评测关注三项指标：动作流畅度、面部特征稳定性，以及面料随肢体运动产生的物理形变。参考图还支持动态更新，后台上传商品白底图后，数字人主播可以在说话间隙完成换装并继续讲解。
支撑长时间生成的是生数科技自研的 SRF（Self-Replay Forcing）训练技术。流式生成跑得越久，画面越容易崩溃或漂移，这是实时数字人绕不开的坎。SRF 的思路是让模型拥有自我纠错的记忆，学会直面自己的生成历史并修正误差，从而把可用时长拉长。
在另一组演示里，通过 Vidu S2 创建的乔布斯数字人接受了一次产品提问。输入乔布斯全身参考图，再补上性格、表达方式，以及对产品、设计和用户体验的态度等角色描述，这个数字人就能开口。被问到 iPhone 首款折叠屏手机 iPhone Duo 是否达到预期时，它给出的回答是流畅度比预想中好，但价格让人犹豫。让数字人跳舞则是另一重考验，躯干、手臂、腿部与重心需要连续变化，同时对人物一致性和动作连贯性提出要求。
实时视频通话的场景也在演示范围内。与实时数字人 Himari 通话时，输入介绍穿搭的请求，对方回答穿的是校服；问及 30 多岁的美国送货司机 Tom Miller 在做什么，得到的回应是正在送货途中。
S2-Editing 的用途不止直播带货。流媒体实时特效、视频包装这类工作，过去依赖后期调色、抠像与合成，周期以天为单位计算。现在打开摄像头、选择风格，输出画面就能直接呈现不同的美学质感。风格迁移与角色替换全程在线，角色替换建议使用正面朝向、清晰可见的半身参考图，以提升替换质量。
从已公开的信息看，Vidu S2 把生成从后期搬到了实时。720p 的分辨率对带货直播够用，距离更高规格的播出标准仍有距离。
微信扫描下方的二维码阅读本文
