当智能体驱动金融变革，昇腾超节点筑牢AI规模化应用底座

一笔企业贷款申请,经过信贷助手智能体,自主调取企业各项相关数据,实时构建客户画像,完成风险评估,仅用几分钟,就能给出授信决策。而在过去,这项业务至少需要3到5个工作日的冗长流程,如今已被AI智能体彻底改写。

Agentic AI时代,正在不断催生金融业务的新形态。这些能够自主感知、规划、执行和反思的AI智能体,对金融行业而言,就意味着业务模式的质变:手机银行从“人找功能”进化为“对话即服务”,语音交互让老年与下沉客群也能无障碍享受数字化便利;智能客服7×24小时无人值守,咨询自助解决率大幅跃升;员工助手分钟级生成各类信贷尽调报告、营销方案,合规审查报告,极大地提升员工办公效率;智能风控从事后兜底走向毫秒级实时预警,欺诈识别准确率大幅提升,全面筑牢金融安全屏障......

当然,业务模式的跃迁并非毫无代价,在系统架构的底层,毫秒级响应、7×24小时稳态运行、百倍级Token消耗与超长上下文处理,正在倒逼金融行业开启一场以算力底座重构为核心的系统性变革。

01 智能体落地加速 底座何以先行?

如果说前两年,金融机构对AI的探索还停留在用通用大模型应付文案生成和简单问答,那么如今,AI智能体就已经开始逐步融入到金融核心业务领域。

比如,在渠道交互层面,依托多智能体协同架构的AI原生手机银行重塑线上金融入口,交互模式革新,让用户通过语音或自然对话即可完成转账、缴费、理财申购等操作,多地方言识别与适老大字模式进一步降低了数字鸿沟。

在客户服务领域,智能体客服依托金融专属知识库,可承接70%以上的标准化咨询,人工转接率大幅降低;智能体还可实时辅助坐席工作,人工接听时,智能体实时推送标准答案、营销话术、风险提醒,实现全渠道服务话术标准化统一。

在员工生产力方面,AI智能体不仅可以秒级检索全行知识库,给员工提供专业回答;还可以分钟级生成各类信贷尽调报告、营销方案与合规审查报告,自动化生成率达80%,让员工从繁重的文案工作中释放,聚焦客户经营与风险尽调。

在风险防控领域,AI智能体可以实时分析设备、位置、交易时序与行为习惯等多维数据,动态识别新型电信诈骗、账户盗刷、团伙套现等隐蔽欺诈行为,大幅提升欺诈识别准确率的同时,也提升了风控决策的速度。

而这些场景化的业务创新,背后都有赖于一个能够承载高频、高并发、低时延的算力底座。在业务创新的过程中,挑战主要集中在算力基础设施的训练与推理两大环节。

首先,在模型训练方面,通用大模型必须基于金融机构自身海量的专属数据,进行大规模的增量训练、精细化的监督微调和持续对齐的强化学习。无论是后训练,还是涉及训练与推理系统频繁交互的强化学习,都对算力底座的通信带宽和数据同步效率提出了严格要求。

其次,在推理方面,AI智能体的工作模式是典型的长序列、多步骤任务,一次简单的客户咨询或风险排查,都可能涉及数十轮对话、多次知识库检索和多项工具调用,这会带来百倍级的Token消耗,并产生超长的上下文信息,对算力集群的低时延、高吞吐和内存池化能力构成了极限考验。

因此,要拥抱Agentic AI时代,唯有底座先行,一切才皆有可能。

02 拆解昇腾超节点 训练与推理的协同之道

那么,什么样的算力底座才能匹配金融行业在Agentic AI时代的转型需求?

显而易见,它必须能同时驾驭训练与推理两大核心场景:在训练侧,能够打破通信壁垒,为大规模MoE模型的后训练与强化学习提供澎湃且高效的算力;在推理侧,能构建起巨大的共享内存资源池,为AI智能体的超长序列、高并发推理提供极低时延和超高吞吐。

这恰恰解释了,昇腾384超节点为何在金融行业Agentic AI场景中受到越来越多的关注,因为它在架构设计上,具备超大带宽、超低时延、统一内存语义三大特性,特别是其内存池化技术,能让不同芯片直接访问统一内存地址,省去减少了复杂的消息拆包解包过程。这样的架构特性让昇腾超节点可以更好的满足金融Agentic AI时代下多样化的训练和推理需求。

先看训练维度,金融行业的核心诉求在于如何将通用大模型高效地训练成为高度定制化的行业“专才”。昇腾384超节点的核心优势,首先在于其自研“灵衢互联架构”带来的超大带宽,彻底打破了传统服务器间的通信瓶颈。正是基于这一高通信能力,超节点支持将训练和推理两个实例同时部署在内部,通过高速互联实现高效地训推参数同步与权重动态转换,极大提升了强化学习的迭代效率。在实际项目中,基于昇腾超节点的模型后训练可带来2.5倍到3倍以上的性能提升。同时,昇腾超节点天然适配verl等主流强化学习框架,降低强化学习模型的开发部署门槛,简化算法迭代与落地流程。

再看推理维度,昇腾超节点则为AI智能体的规模化落地扫清了最大障碍。AI智能体多轮对话、长上下文关联的特性,让KV Cache内存墙问题异常凸显。传统集群中,算力卡内存独立编址,跨卡交互需经过复杂的通信协议转换,带来巨大开销,效率极低。

而昇腾超节点通过内存统一编址技术,构建起高达48TB的全局共享内存池,所有NPU可像访问本地内存一样直接进行数据存取,数据交互效率提升3倍。昇腾超节点天然亲和 Agentic AI 负载,通过内存统一编址和内存语义访问,无需经过复杂的通信协议转换。同时,依托昇腾大规模专家并行方案,将MoE模型的多专家权重分散部署到更多算力卡上,大幅降低单卡权重加载时延,让模型解码输出更快;单卡内存容量占用降低后,也能支撑更大用户并发所需的KV缓存,实现系统级吞吐性能的显著提升。既保障了金融级应用所需的超低时延,又大幅降低了大规模部署的成本。

昇腾超节点在金融行业的价值,已在落地实践中得到验证。以邮储银行为例,该行于2025年底率先完成昇腾384超节点部署,并同步落地了昇腾大规模专家并行方案。依托超节点的大带宽、低时延能力,邮储银行实现了单卡吞吐性能提升10倍以上,进一步加速“邮智”大模型的规模应用。这一实践证明,智算架构革新对金融场景的实际适配价值,即性能瓶颈的突破不再是单点硬件的参数比拼,而是通过系统级架构创新与场景深度优化,实现整体效能跃升。

03 走向规模落地 算力重构的三点意义

客观地说,昇腾超节点在金融行业从技术验证走向规模应用,也为金融行业的算力架构升级,提供了很多可借鉴的价值。

第一,系统级架构创新是打破算力效能天花板的关键路径。邮储银行的实践表明,性能瓶颈的突破源自系统级架构创新与场景深度优化的协同,而非单一硬件的堆砌。昇腾超节点的价值也不在于单卡算力的参数比拼,而在于通过灵衢互联架构重构了计算、存储与网络的关系,将分散的算力节点融合为一个逻辑上的单一系统。一举直接击穿了制约传统集群在大模型训推上的通信墙和内存墙,使得训练效率数倍提升,推理并发能力倍增。

第二,训推一体是加速金融AI规模化落地的现实选择。而昇腾超节点凭借训推一体的架构天然优势,既能高效支撑模型的后训练与精调,又能为大规模智能体部署提供算力支撑,实现了从模型生产到价值释放的无缝衔接。为金融机构提供了一个集约、高效、敏捷的单一底座,简化了IT复杂度,提升了整体运营效率。

第三,开源开放是构建可持续金融AI生态的基石。好的技术只有融入繁荣的生态,才能发挥最大价值。昇腾超节点的强大能力,不仅源自硬件本身,更来自其对PyTorch框架97%以上的API一致性支持,和对vLLM等主流推理框架做到0-day原生适配。这种开放姿态,使得金融机构和ISV伙伴能够轻松地在昇腾底座上移植、开发和优化自己的AI应用,快速复制最佳实践。

总体而言,昇腾超节点在金融行业的规模化落地,验证了一条清晰的路径:通过系统级架构创新打通训练与推理的效能瓶颈,能够让AI真正融入核心业务的血脉,成为驱动金融数智化转型的持久动力。