商汤绝影行业首发原生多模态大模型车端部署：80亿参数、每秒40Tokens

IT之家 7 月 19 日消息，商汤科技联合创始人、首席科学家王晓刚 17 日宣布，商汤绝影在行业内率先实现了原生多模态大模型的车端部署。车载端侧 8B 模型首包延迟在 300 毫秒以内，推理速度 40 Tokens / 秒，覆盖主流算力平台。

商汤绝影为多模态大模型打造计算引擎“HyperPPL”，目前扩展并支持主流车载计算硬件，兼容多种主流操作系统，适配多个车载芯片的部署平台。

商汤绝影称 HyperPPL 针对车载多人场景进行优化，使得车内多人并发情况下，车端多模态大模型的模型推理效率相比单人没有明显降低。

据IT之家此前报道，商汤绝影此前表示，深圳首条自动驾驶公交线路采用其车辆与技术，所有驾驶操作都无需人员介入。

明年上千 TOPS 算力的车载芯片（英伟达 Thor）就会问世。基于更高算力的计算平台，商汤预计绝影多模态大模型车端部署方案的首包延迟将大幅降低，推理速度进一步提高。