阿里大文娱,虚拍新解法
科技
科技 > 人工智能 > 正文

阿里大文娱,虚拍新解法

视频制作领域技术发展持续受到关注。

在发布10个月后,OpenAI于近日正式向用户开放AI视频生成模型Sora,再引热议。开放注册后,Sora官网一度因注册人数激增而崩溃。

相较于目前偏向To C的文生视频模型,已在影视专业领域深度应用的虚拟制作技术更受从业者青睐,如虚拟拍摄。近期开播的古装悬疑剧《清明上河图密码》拍摄时曾创下国内剧集虚拟拍摄场景最高纪录,现在这一纪录又落到了正在拍摄的剧集《师兄太稳健》身上。

古装仙侠剧《师兄太稳健》改编自起点热门仙侠小说《我师兄实在太稳健了》,全剧约40%的场景来自虚拟拍摄。据海克财经现场观察,摄影棚中雪花飘落、山峦起伏,枯树、乱石远近错落,令人仿佛置身仙侠世界的凛冽荒野。然而,实际上只有近处的几棵枯树与几个石墩是置景实物,其余风光来自10米高的LED屏幕。

虚拟拍摄简称虚拍,指的是利用屏幕设置数字场景进行拍摄的技术,简单来说就是把往常需要实地拍摄或搭建布景的场景数字化。

自《星球大战》衍生剧《曼达洛人》2019年在迪士尼流媒体平台上线,越来越多的海外流媒体将虚拍技术应用到剧集拍摄中。据官方幕后制作视频,《曼达洛人》第一季有近一半镜头由虚拍完成,彼时该剧使用的LED屏幕高度仅约6.1米。奈飞热门科幻剧《1899》同样有大量镜头来自虚拍。

国内跟进技术潮流,迅速布局虚拍的则是阿里大文娱。阿里大文娱2019年已推出虚拍1.0整体解决方案,2024年更将技术迭代至3.0版本,具有独家定制化硬件、AI算法、数字化制作团队服务等多项长板。前述大力推进虚拍应用的剧集《清明上河图密码》《师兄太稳健》均由阿里大文娱旗下的优酷出品。

在影视领域日益“内卷”的当下,阿里大文娱发展虚拍不仅是为了控制成本,更是希望通过技术创新助推行业发展,为行业兼顾品质与效益提供更多可能。

01

新意起于技术

技术沉淀与经验积累是虚拍技术落地的关键。

这正是阿里大文娱尽早入局的原因。2019年11月,即《曼达洛人》第一季上线同时,阿里大文娱已经使用LED数字背景拍摄方案为剧集《紧急公关》提供服务。该剧播出时热度空前,相关话题多次冲上微博、抖音、快手等平台热搜,被网友戏称为“按集上热搜”。

彼时阿里大文娱的虚拍还处在1.0整体解决方案阶段,主要提供以窗景戏、车戏等为主的2D远景拍摄服务。即便还在探索期,虚拍降本增效的成果也十分卓著。阿里大文娱官方数据显示,相较于大众熟知的“绿幕抠图”,虚拍能使窗景戏成本降低超过50%;车戏的拍摄效率则可以从每天拍摄4页剧本的内容提速至每天7页,效率提升超过70%;方案推出后的两年之内,阿里大文娱虚拍已服务超过100个剧组。

与国家大剧院的合作可以说明阿里大文娱在虚拍技术上的投入。

在2021年的国家大剧院14周年线上直播特别节目中,舞蹈节目《无·境》《晷迹》均使用了阿里大文娱的虚拍XR技术。为了实现梦幻唯美的艺术效果,阿里大文娱在LED数字背景的基础上叠加了扩展层和AR前景层。这使节目通过场景变化有更广阔的空间感,视觉呈现远超LED屏幕本身的范围,给观众带来了强烈的视觉冲击。

随着技术的成熟稳定,阿里大文娱的虚拍方案在综艺栏目、线上演出等方面应用得愈加广泛。2023年1月,优酷与河南卫视联合播出的国风幻境音乐晚会《山海奇幻夜·小年夜晚会》即是如此。晚会通过虚拍展现《山海经》中的瑞兽、奇幻景色等,以技术为传统神话题材增添真实感与沉浸感。

如今阿里大文娱虚拍已迭代至3.0版本。

自2019年的1.0版本至2023年的2.0版本,阿里大文娱虚拍的侧重点已从2D远景拍摄转向中近景拍摄,采用3D实时渲染及人物背景的实时追踪技术,还升级了配套算法来全面增强可控性。由此,阿里大文娱虚拍逐渐步入规模化应用时代。

比如2023年10月开拍的《清明上河图密码》,剧集改编自同名小说,讲述宋代探案故事,需要通过虚拍更好地还原宋代中国的繁盛景象。该剧有8个场景由虚拍完成,摄制周期超过20天。该剧剧组给出的数据是,使用虚拍的部分拍摄效率提升了40%,人力成本节省60%。

深耕虚拍5年之后,阿里大文娱2024年迭代出的3.0版本则有独家定制化硬件、AI算法和数字化制作团队等服务,能够帮助剧组实现艺术与技术的进一步结合。

《师兄太稳健》剧组的数字化制作总监郎君在采访中就提及了自研算法带来的“校准”效果。校准指的是虚实校准,即把拍摄的LED虚拟背景和真实前景置景自然融合,这也是虚拍最难的一环。按照业界通用技术情况来说,校准1个镜头需要2个小时,1个场景通常拍摄15个镜头,校准便需要花费30个小时。而阿里大文娱的视觉算法能够只用20分钟完成所有校准,让画面的校准效率提升近百倍。

02

以规模促落地

事实上,虚拍击中了许多影视行业传统拍摄的痛点。

布景成本是常见痛点之一。在采访中,《师兄太稳健》总制片人王平以凌霄殿场景和雪景为例说明了虚拍的经济性:如果实景搭建凌霄殿,需要上百位木匠、瓦匠师傅参与,还要使用超过500立方米的木材,而虚拍只需要做两根7米左右的宫殿立柱作为前景,置景费至少能节省50万元;实际布置雪景需要使用大量硫酸镁,搭建600平方米的实地雪景光是地面上的“雪”就需要约15吨硫酸镁,但使用虚拍只需要在LED屏幕前铺设2吨就能满足拍摄需求。

据海克财经现场观察,《师兄太稳健》在阿里大文娱虚拍摄影棚拍摄的雪景片段的确能够让人产生虚实莫辨之感,弧形LED屏幕前的实景造雪与屏幕内的飘雪、雪地融为一体,肉眼难分边界。拍摄时剧组工作人员数量不多且井然有序,现场还能看到数控灯光与虚拍系统联动模拟出的场景光效。

虚拍不仅能够降本增效,还能创造出绝佳的光影效果。假设用绿幕拍摄雪景,像雪花这类小而密集的白色素材会在吸收大量绿幕反光后产生“溢色”,通俗来说就是色彩失真,在后期处理上技术难度很高。然而绿幕的难题却是LED屏幕的优势,虚拍不但能保证色彩,还能呈现更为复杂的光影效果。

对创作者来说,虚拍的核心价值在于后期前置,创意先行。

采访中王平多次提及,虚拍能够“所见即所得”,直接将艺术创意落到实处,导演、演员及其他剧组工作人员都能依据实际情况进行及时调整。

按照传统绿幕拍摄方式,演员表演时只能依据故事想象场景,凭想象做出不同眼神、表情和动作反应。即便成熟演员表演技巧和信念感很强,其直观反应也很难与完备、真实的场景反应相比,遑论后期还要对齐拍摄时的种种细节。由于最终呈现依赖后期制作,导演也无法提前预知成片效果,只能依靠经验和想象来构筑画面内容并据此调配摄像机角度。一旦后期时出现问题,就需要团队逐帧调整每个画面的角度、光源等元素,无法调整时甚至需要重新拍摄。

这极能凸显虚拍的意义,特别是仙侠、科幻等观众偏好的非现实题材。调研机构艾媒数据显示,2024年分别有33.64%和29.80%的用户喜爱仙侠和科幻题材。

阿里大文娱长达5年的沉淀与迭代,让剧组不再因虚拍被打乱运转节奏。以前剧组使用虚拍,灯光、屏幕、视效等服务可能由几家不同公司提供,剧组配合与沟通的成本必然增加。现今阿里大文娱已能够为剧组提供一站式全流程解决方案,深度参与前期创意、硬件方案设计、现场搭建、技术服务等多重环节,避免主创分心。

03

向前再迈一步

虚拍对影视行业的助推力显而易见。

以标志性的《曼达洛人》第一季为例,海外影视评分平台IMDb有超过60万人给出了8.6的分数,豆瓣评分则高达9.2分。更重要的是,该剧集还在2020年获得了第18届美国视觉效果协会奖电视类最佳视效奖项。

国内的虚拍发展亦在推动影视工业化进程。比如阿里大文娱的虚拍整体解决方案3.0,还创造出了影视行业的新工种——数字化制作总监。数字化制作总监会与成建制进组的算法工程师配合,为剧组虚拍提供整体解决方案,并保障高效落地。

随着应用次数与范围的增加,阿里大文娱虚拍的数字资产也有了更多积累。采访时,阿里大文娱数字化制作业务负责人许佳表示,如今阿里大文娱虚拍的数字资产已经开始部件化,团队在初期设计时就会将场景拆解为类似于积木块的部件,部件拼装组合就能形成不同的场景。这样的方式既能节省时间与金钱,又能提升创作效率,还不容易让观众产生审美疲劳。《清明上河图密码》虚拍的前期筹备时间就因数字资产的复用而缩短了三分之一。

与AI的结合也是虚拍技术的进展方向之一。目前阿里大文娱已经开始使用AI概念图、AI模型辅助剧组前期筹备。数字化制作团队会先使用AI辅助完成的概念设计图与导演讨论、研究,确定方向后会使用手绘加AI方式推进。要知道,依照传统的设计速度,与导演确立概念、场景需要10天以上,加入AI后只需要3-5天。

与剧组配合设计前景时,阿里大文娱还会使用自研AI细化场景,且概念图能够贴近到与实景的一比一还原。实际操作中,阿里大文娱还引入了AI分镜技术和自研模型,3-7天即可搭建完符合项目风格的场景简单模型,相较传统拍摄至少提速了50%。

东吴证券2024年8月发布的一份研报提及,AI技术已在影视制作的部分环节中进行应用,并随技术发展而向更多环节渗透,以电影为例,AI能够缩短整个制作周期,有望降低43%的制作成本。

阿里大文娱发力虚拍正是在积极扮演引领者角色。

从视频平台角度来看,虚拍不仅能为单独的项目降本增效,更能打通制作链路,全方位提升平台整体内容制作的效率;从行业和长远视角来看,虚拍使内容制作朝流程化与标准化的方向发展,能够促进国内影视工业化变革。由此,新技术推动影视行业各方相互促进,让内容与技术结合得更加紧密,为行业未来带来更多可能性。

亲爱的凤凰网用户:

您当前使用的浏览器版本过低,导致网站不能正常访问,建议升级浏览器

第三方浏览器推荐:

谷歌(Chrome)浏览器 下载

360安全浏览器 下载