Meta 推出 Muse Realtime Avatar，可将任意图像变成实时对话数字人

动画角色解释了Muse Realtime Avatar如何结合Muse Spark和Muse Presence，生成富有表现力、响应灵敏的人格。播放位置0:00 / 0:00 今天，我们推出Muse Realtime Avatar，这是我们最先进的具身技术，可将Muse Realtime Voice转化为富有表现力、可交互的虚拟形象。 以参考媒体为条件，Muse Realtime Avatar可将任何角色带入实时对话。一张照片肖像通过细微表情作出回应，而一幅全身插画在说话时会做出手势并变换姿态。动物和日常物品变得富有表现力，同时不失去其独特之处。逐帧来看，虚拟形象的外观和举止在连续的对话轮次之间保持连贯。 超越只会说话的头部，Muse Realtime Avatar可实时让任何图像栩栩如生，具备富有表现力的面部、手部和全身动作。 从智能到实时临场感 Muse Realtime Voice和Muse Realtime Avatar构成一个单一的流式系统，连接智能、语音和具身。Muse Realtime Voice提供对话智能，并产生一串语音token（VQ），同时承载说了什么以及如何表达。音频解码器将这些token转换为语音，而Muse Realtime Avatar消费同一token流以生成相应的视觉表演。共享这一token流使语音、唇部动作和表情保持同步。 Muse Realtime Avatar是一个音频驱动的Diffusion Transformer，以语音token流、参考媒体和近期视频潜变量的滚动窗口为条件。它以短因果块生成视频。每个块完成后，其最新生成的潜变量成为下一个块的运动上下文，将虚拟形象的外观和举止向前传递，同时保持计算有界，使生成能够持续与对话一样长的时间。 图示展示用户语音流经Muse Realtime Voice到音频解码器和Muse Realtime Avatar，后者结合输入语音token、参考媒体和生成的上下文，产生同步语音和富有表现力的视频。 Muse Realtime Avatar将流式语音VQ转化为同步视频，向前传递生成的上下文，以在整个对话中保持连续性。 实时无限视频生成 实时流式传输必须同时解决两个问题：以足够快的速度生成视频以实现实时交互，并在整个对话中保持视觉一致性而不累积误差。 我们从一个高质量的双向教师模型开始，通过自强制和分布匹配蒸馏，产生一个具有固定长度KV缓存的因果学生模型。自强制允许学生模型在其自身生成的上下文上训练，并教会它在小误差随时间累积时抵抗漂移，匹配其在推理时遇到的条件。 教师模型使用40个扩散步骤，采用三路无分类器引导（CFG），每一步需要三次模型前向，每个块总计120次模型评估。我们精心调校的方案将扩散过程和CFG的效果联合蒸馏到一个无引导的两步学生模型中。这些技术共同使学生模型能够在两次无引导评估中复现教师模型通过120次引导评估逐步精炼的结果，减少60倍，同时紧密保持教师模型的质量。 折线图比较两步学生模型与120步教师模型。人类偏好从45%上升到55%，学生模型使用的神经函数评估次数少60倍。 蒸馏将每个块的推理从120次神经函数评估减少到2次，减少60倍，同时在总体偏好上产生接近均分的结果。 最先进的虚拟形象体验 为了解Muse Realtime Avatar在实时对话中的表现，我们将其与Runway Characters和HeyGen LiveAvatar这两个领先的商业虚拟形象系统进行比较，使用每个产品原生的实时通话体验。评分者使用匹配的虚拟形象身份与每个系统进行两到三分钟的对话，然后比较视觉质量、同步性、角色一致性和举止等方面的体验。下图报告了总体偏好，评分者更常偏好Muse Realtime Avatar。 实时评估图表显示，Muse Realtime Avatar相比Runway Characters以78%对22%更受偏好，相比HeyGen LiveAvatar以88%对12%更受偏好，并附有面部表现力、动作自然度、唇形同步、角色保持和举止的偏好结果。 评分者在总体上以及每个评估维度上都更偏好Muse Realtime Avatar。与Runway Characters的举止比较在统计上与持平无法区分。 以Meta规模提供亚秒级延迟服务 Muse Realtime Avatar在实时对话展开时持续生成虚拟形象的视频。以Meta规模提供这一体验需要交互式延迟和高并发。为实现这一点，我们从零重新设计了Meta的实时AI推理栈，并将其与为高度优化的实时视频推理和 serving 构建的内部定制引擎相结合。 具有内存感知位置编码的持久KV缓存使我们能够在解码时跨块智能复用上下文。缓存感知路由和延迟感知动态批处理高效分配并发会话。四位量化感知训练以更低的推理成本保持质量，而融合内核和NVIDIA CUDA Graph捕获减少内存流量和调度开销。我们与NVIDIA合作进行了多项模型优化，以最小化模型前向传递的成本。整个系统，包括底层基础设施，都经过端到端优化，以确保流畅的用户体验。 Muse Realtime Avatar以每秒25帧流式传输448x768肖像视频，从用户轮次结束到收到同步语音和视频响应的第一个字节，测得约870毫秒延迟。在GB200上的单个会话中，每个生成步骤在20毫秒内产生八帧，对应320毫秒的播放，即每帧有效2.5毫秒的模型时间。 上述优化结合语音与视频之间的智能编排，使服务容量相对于两步式BF16基线提升了8倍，从而能够在单台GB200上为视频生成支持12个并发实时会话。 Muse Realtime Avatar对话示例1 播放位置0:00，共0:00 浏览与Muse Realtime Avatar的对话，以交互式、亚秒级延迟交付。 负责任地构建具身AI 我们在整个体验过程中执行严格的安全要求，以降低滥用风险并保护人们。为使生成的媒体可追溯，Muse Realtime Avatar使用Meta Video Seal在生成的视频中嵌入持久、不可见的水印，且不会为实时体验增加延迟。随着具身AI的发展，我们将继续加强这些保护措施。本博文中的所有示例仅用于说明模型能力，并不都反映Muse应用中可用的虚拟形象。Muse面向18岁及以上用户。