Runway突破实时视频生成瓶颈：GPU需求砍半

凤凰网科技讯 北京时间11月6日消息，AI视频生成公司Runway近日公布一篇技术论文，首次详细披露其实时视频对话产品Runway Characters背后的推理系统。该产品能够将一张静态图片变成可以实时交流的AI虚拟角色，其核心是一款拥有约570亿参数（57B）的视频生成模型。通过一系列底层优化，Runway将运行单个会话所需的H100 GPU数量从8块降至4块，实现每秒24帧的实时视频生成。

与传统AI视频生成工具不同，Runway Characters不需要用户等待一段视频生成完成，而是能够根据对话内容，实时生成虚拟角色的面部表情、嘴唇动作和头部运动。无论是真实人物照片、卡通形象还是虚构角色，都可以通过一张参考图片生成可交互的数字角色。

论文介绍，Runway使用的是一款自回归视频扩散Transformer模型，参数规模约为57B，生成视频分辨率达到704×1088，帧率为24fps。这意味着系统必须每隔166.7毫秒完成一组四帧画面的生成，而且需要在整个对话过程中持续维持这一速度。

这一任务对GPU算力提出了极高要求。按照论文测算，单个实时视频会话需要约2.24 PFLOP/s的有效算力，超过一块英伟达H100 GPU的密集FP8理论峰值。

与可以同时处理大量用户请求的语言模型不同，Runway的视频系统需要为每位用户提供独立的实时生成服务。由于单个会话已经消耗大量GPU资源，增加第二个会话几乎会让计算耗时翻倍，因此难以通过传统批处理方式提升效率。

为了降低计算成本，Runway对模型推理过程进行了多项优化。

论文显示，Runway Characters最初需要8块H100 GPU支持一个实时会话。在4块H100的初始测试中，每次视频生成步骤需要240.9毫秒，无法满足24fps的实时要求。

通过优化缓存管理、计算流程及GPU之间的数据通信，Runway最终将单次生成时间缩短至159.3毫秒，速度提升1.51倍，达到持续24.5fps的生成能力。在进一步引入计算与通信融合技术后，单步耗时又下降至147.4毫秒，整体提速1.63倍。

其中一项关键改进来自模型的缓存管理。

Runway发现，原有推理系统中约29%的GPU时间消耗在反复处理已经存储的缓存数据上，而真正执行注意力计算的时间只占约6%。

为此，研究团队重新设计了缓存机制，将部分重复计算提前到新数据写入时完成，同时引入环形缓存结构，减少不必要的数据复制。

优化后，每个生成步骤中的缓存维护时间从69.7毫秒降至6.2毫秒，降幅超过90%。

Runway还将GPU之间的数据通信与矩阵计算进行融合，让部分计算结果能够在后续计算继续执行的同时完成传输，进一步减少等待时间。

此外，Runway专门使用一块GPU负责将模型生成的潜在表示解码为最终视频画面，使视频解码与后续画面生成能够并行执行，避免解码拖慢整个系统。

值得注意的是，Runway披露的4块H100配置并非全部用于57B模型的Transformer计算，而是3块GPU负责主要视频模型推理，另1块负责视频解码和音频相关处理。

在实际用户体验方面，论文还披露了视频生成与语音交互之间的延迟。

Runway统计了12个实时会话中的51次对话轮次，结果显示，从用户结束说话到浏览器中出现AI角色声音，中位等待时间为2.13秒。

其中，语音智能体处理占用约1.42秒，Runway自身视频生成管线占用约0.49秒，向浏览器传输数据还需要约190毫秒。

这意味着，尽管AI角色已经能够以24fps持续生成视频，但从用户说完一句话到角色开始回应，仍存在约2秒的等待时间。

Runway同时披露了系统在真实生产环境中的运行表现。在七周的监测期内，对于持续至少1秒的会话，99.5%的会话平均帧率超过23.5fps。

团队也曾遭遇技术故障。2026年8月，一项新的GPU计算融合技术上线后，因后续软件升级及不同长度输入触发额外缓冲区分配，出现显存不足问题。Runway随后回滚相关功能，并在修复后于10月8日重新启用。

论文数据显示，在重新启用后的15天内，平均帧率不高于24fps的会话占比降至0.7%，此前五周每周这一比例为7%至23%。

对于推理优化可能带来的画质变化，Runway使用包含53个视频片段的测试集评估，未发现超出重复运行正常波动范围的唇形同步质量下降。不过，研究团队也指出，这并不意味着不同配置生成的视频在所有质量指标上完全等价。

除H100外，Runway还测试了英伟达新一代B200 GPU。在3块B200上，模型单步推理时间达到154.3毫秒。不过，部分针对H100开发的优化无法直接迁移至B200，说明更先进的GPU并不意味着所有推理环节都能自动获得性能提升。

Runway此前已推出Characters产品，可将单张图片转化为实时交互的AI角色，并面向开发者提供接口，用于数字人、虚拟助手、客户服务等应用。

此次论文的意义在于，展示了大规模视频生成模型如何通过系统级优化满足实时交互要求。对于AI视频行业而言，竞争正在从单纯提高生成画质和时长，进一步延伸至低延迟生成、计算资源利用率以及实际服务成本。

目前，论文主要披露了单会话推理效率和运行稳定性，尚不足以直接推算大规模商业部署的总成本。(编辑/于雷）

更多一手新闻，欢迎下载凤凰新闻客户端订阅凤凰网科技。想看深度报道，请微信搜索“凤凰网科技”。