字节跳动发布Seedance 1.5 pro模型,支持音视频联合生成
科技
科技 > 人工智能 > 正文

字节跳动发布Seedance 1.5 pro模型,支持音视频联合生成

凤凰网科技讯 12月16日,字节跳动发布新一代音视频生成模型Seedance 1.5 pro。该模型支持从文本或图像生成带有同步音频的视频,实现了音视频的联合生成。

据介绍,Seedance 1.5 pro在音画同步方面进行了优化,旨在提升生成内容中口型、语调与表演节奏的一致性。模型支持包括中文、英文、日文在内的多语种,并可模拟四川话、粤语等方言的语音特征。在视频层面,该模型声称具备一定的自主运镜调度能力,可生成如长镜头跟随、希区柯克式变焦等效果,以增强画面的动态张力与叙事感。

技术层面,该模型采用了基于MMDiT架构的音视频联合生成框架,并通过多阶段数据链路与强化学习方式进行优化。团队表示,其已在影视创作、广告制作、短剧及游戏内容等场景中进行测试,生成内容在指令遵循、音质表现等方面有所提升,但在复杂运动的物理稳定性、多角色对话等方面仍有改进空间。

亲爱的凤凰网用户:

您当前使用的浏览器版本过低,导致网站不能正常访问,建议升级浏览器

第三方浏览器推荐:

谷歌(Chrome)浏览器 下载

360安全浏览器 下载