Meta公布“Hologram”全新拟真虚拟形象,今年秋季陆续上线智能眼镜/头显

Meta公布“Hologram”全新拟真虚拟形象,今年秋季陆续上线智能眼镜/头显

IT之家 9 月 28 日消息,Meta 宣布将于今年秋季起陆续为旗下雷朋 Display 智能眼镜 / Quest 头显上线“Hologram”全新虚拟形象功能,这项技术类似苹果 Vision Pro 的 Persona,能够通过生成式 AI 打造与真人外观高度接近的虚拟形象。

事实上,Meta 早在 7 年前就展示了名为 Codec Avatars 的拟真虚拟形象项目,不过目前消费者可以买到的 Meta VR 产品仍主要使用较为卡通化的自定义形象角色。按照目前的规划,后续 Meta 会逐步将用户的自定义形象角色从卡通化转向拟真写实化。

据介绍,用户首次使用 Hologram 时,需要打开手机上的 Meta AI 应用,并按照提示转动头部、微笑等。随后系统会提出一些开放式问题,用户需要进行较长时间的回答。在回答过程中,系统会采集用户的面部表情和说话状态,用于训练和调整 Hologram 模型,同时还会记录用户的服装和背景。

整个创建过程只需几分钟,完成服务器端处理后即可生成 Hologram。之后,当用户佩戴 Meta 雷朋 Display 眼镜接听或拨打 WhatsApp 视频电话时,对方看到的将不再是传统摄像头画面,而是由 AI 生成的用户面部虚拟形象。

从技术角度来看,Meta 雷朋 Display 版本的 Hologram 采用运行在 Meta 服务器上的实时生成式 AI 扩散模型,以眼镜麦克风采集的音频作为输入,并实时生成 2D 视频流发送给通话另一端。Hologram 的面部表情主要根据用户说话时的声音变化生成,而不是直接使用摄像头捕捉真人画面。

而在 Quest 平台方面,相应 Hologram 功能采用 3D 等身立体形式呈现,当两名 Quest 用户通过 WhatsApp 进行视频通话时,双方首先会在一个 3D 窗口中看到对方的 Hologram。点击窗口旁边的按钮后,通话可以切换至全身模式,对方的虚拟形象即会以接近真人的尺寸出现在用户面前。

不过,目前版本仍存在一些改进空间,例如人物尺寸可能与真人存在轻微差异,眼睛等细节在部分情况下会显得较为粗糙。同时如果用户向侧面倾斜过多,虚拟人物就会变形,因此还有待开发人员进行改善。