“金融AI落地有三个痛点:一是不敢用,怕隐私数据泄露;二是不好用,传统数据架构不适合AI应用;三是不可控,算法偏见和模型幻觉对金融服务来讲是致命伤。”8月14日,在新金融联盟主办的“智启金融新质生产力,共筑AI安全共同体”内部研讨会上,国泰海通证券首席信息官俞枫在主题演讲中表示。
针对上述痛点,国泰海通构筑了一个以“Any data、Any computer、Any model”为核心的金融AI全链路的架构。俞枫强调,该架构在落地过程中需做到三个“统一”:一是统一数据底座,把各类数据整合生成统一的视图,让AI可用。二是统一计算模式,解决不同计算模式的割裂问题。三是统一API与智能适配,通过标准化的API和标准化的智能适配,支撑上层的各种应用生态。
这是新金融联盟第109期内部研讨会,由新金融联盟秘书长吴雨珊主持,中国金融四十人论坛提供学术支持。人民银行和证监会相关领导,中国工商银行原首席技术官吕仲涛做了主题交流。兴业银行首席信息官唐家才、国家开发银行信息科技部副总经理郑江奎、深信服科技行业总部首席技术官杨闯也发表了主题演讲。来自银行、非银金融机构及科技公司的近百家机构的代表参会。以下为俞枫发言全文。
AI基础设施体系化建设的探索与实践
文 | 俞枫
一、战略变化:从“AI in ALL”到“ALL in AI”
我结合国泰海通的具体实践,谈谈AI基础设施体系化建设的探索与实践。
国泰海通的人工智能建设始于2017年,彼时公司提出“AI in ALL”的理念,认为未来AI会像水电煤一样,成为标配的基础设施,支撑相关应用。
我们初期主要把AI应用策略定位于赋能型AI,当时提了六个方向:智能服务、智能网点、智能投研、智能风控、智能协作、智能运维。经过几年的建设,在这些领域都取得了很好的成绩,也为大模型时代的到来准备了足够多的数字化场景与高质量语料,为公司迈入大模型时代创造了很好的基础条件。
2024年,我们把AI应用策略在“AI in ALL”基础上,全面升级为“ALL in AI”。虽然只是词序发生变化,但内涵却大不一样。“AI in ALL”侧重帮助各业务场景的系统升级,而“ALL in AI”更多是把AI作为一个变革的力量,驱动组织变革和流程创新,希望推动公司经营模式创新升级。战略发生变化,做法也随之改变。基于公司全面推动数智化转型的要求,我们构建了体系化的基础设施。
二、打造模型、语料、算力三大底座
在推进AI基建方面,我们公司有三大具体举措。
一是建设“1+N”大模型应用架构。金融行业对所有的输出服务要求精准、专业,单靠传统的通用大模型是不行的,所以我们很早就构建了私有化部署的垂类模型。模型迭代非常快,我们也希望集各家所长、共同发展,所以构成了“1+N”的模型应用架构。“1”是垂类模型,负责总控和输出的把关;“N”是适配各个场景的模型,形成模型矩阵,确保既适用于各种场景,又能跟上时代发展的步伐。
二是建设语料体系。基于多模态的数据底座,加上高质量语料,形成很好的语料支撑体系,同时通过数据输入、管理和应用三个维度层次,打造一体化的语料运转应用体系。除了通用的、另类的、自己行业的语料之外,我们建立了一个语料生态体系,共同打造高质量的语料库。仅现有的语料是远远不够的,所以按照开放证券的理念,我们和很多合作伙伴一起,建立标注团队,通过专业数据、语料公司供给的外部数据来开展相关建设,为公司AI应用提供很好的语料基础。
三个建设自主可控算力。一方面,建设全栈自主可控的算力资源池,在此基础上叠加统一的算力管理和应用。同时积极落地国产替代工程,我们在2023年就做了“国芯证道”解决方案,用全套国产算力、国产全栈体系完成大模型的工程化落地。今年我们也很好地完成了金融行业首个AI昇腾液冷超节点的建设,在国产算力替代上迈出了很好的步伐。现在绝大部分都是国产算力,应用也基于国产算力做替代。
另一方面,我们积极与外部伙伴开展算力创新合作,比如分时算力。证券行业有个特点,白天交易时间对客服务需求比较多,到了晚上、周末,算力需求相对较少,这样就可以形成分时算力、弹性算力的机制,很好地解决算力时段性紧缺的矛盾。
这几年算力需求爆发以后,原来建的数据中心面临很大挑战,传统设施无法满足高功率算力服务器的需求,效率也不高,尤其是集群化部署很难。两年前,我们建了独立的液冷机柜,配合高密度计算的需要。今年在北区,又专门建了针对超级集群的机柜,通过对原有冷冻水系统进行改造,落地了行业首个液冷超级节点的算力,能够通过不同的技术手段,很好地满足算力服务的需要。从长期来看,这方面的矛盾依然会存在。
我们AI算力底座建设的过程,最早是单机,现在慢慢转变——从运维升级为运营,从资源专用变成共享,进一步提升了效率和灵活性。从硬件直通到硬件虚拟化、软件虚拟化、算力池化,最后形成统一管理,实现单一云资源服务交付,再到云原生与AI全栈适配交付的快速演进,很好地满足了公司体系化建设的需要。
具体来讲,通过动态分配、跨机融合、小模型任务叠加、算力共享等技术手段,分别提升AI开发、训练、推理、业务、运维的效率和稳定性。这对我们企业来讲非常有意义——不是买个算力就结束了,要发挥好算力的价值,必须提升整个体系的效率和稳定性,比如整合碎片化资源、均衡多级资源等,这些都需要下大功夫。
三、构筑金融AI全链路架构,解决落地痛点
金融AI落地有三个痛点:一是不敢用,怕隐私数据泄露;二是不好用,传统数据架构不适合AI应用;三是不可控,算法偏见和模型幻觉对金融服务来讲是致命伤。
面对“不敢用、不好用、不可控”的痛点,我们专门以AI ready数据平台为中枢构筑了一个金融AI全链路的架构。
这个项目是以“Any data、Any computer、Any model”为核心的一个数据平台——向下统筹绿色算力底座,向上支撑模型矩阵、智能体、Skill、MCP和知识库等应用生态,并以AI可信、可控的治理体系贯穿全链路,实现模型可控、内容可信、数据可靠、服务可兜底的规模化、生态化应用。在这个体系中,我们也构建了安全可靠AI应用,既包括Sec for AI,也包括AI for Sec。
这当中有三个关键:一是统一数据底座,把各类数据整合生成统一的视图,让AI可用,实现各类数据直接对AI的可用化。二是统一计算模式,解决不同计算模式的割裂问题。三是统一API与智能适配,通过标准化的API和标准化的智能适配,支撑上层的各种应用生态。
四、将数据、计算、模型融为一体
前面介绍了全链路架构,下面重点谈谈Any data、Any computer、Any model三个维度的具体实现。
第一,Any data。实现全域、全模态数据的统一存储和治理。最关键的一点是,原来建设时传统分析是一种数据管理方法,AI应用是另一种方法,数据是割裂的。按照我们的技术思路,是建立一个全模态的数据服务,在上面构建统一的数据湖,实现统一建模、统一治理、统一鉴权、统一访问、统一审计等。核心是统一,实现AI数据支撑的统一管控,不但AI可以用,传统数据分析也可以用。
第二,Any computer。原来传统计算引擎最大的痛点是割裂的,我们通过Any computer统筹调度CPU、GPU等异构算力,支持流批计算、向量及AI语料模型算子多引擎计算,满足传统BI分析与AI训练推理的混合负载。
第三,Any model。基于“1+N”模型矩阵统一接入、AI网关动态调度,实现泛模型适配。“1+N”模型矩阵的接入,AI网关动态调度实现泛模型适配。通过自研垂类模型加上三方模型,形成“1+N”矩阵的统一,通过模型网关实现统一API、统一认证、统一审计、统一调度、统一流控。同时通过数据研发、数据运维、数据治理,提升数据服务效能,通过数据知识化、智能工具化等,打造数据服务体系。这个服务体系实现了数据与模型的双飞轮,也是我们公司整个模型和数据迭代的基础。
2024年4月,我们公司成为监管第一个批准大模型直接面客服务的机构。基于大模型私有化部署和“1+N”大模型架构创新构建AI ready数据平台和全链路可信可控治理体系,公司已实现AI在财富管理、机构服务、投资银行、合规风控、数字职场、研发运维等全领域的规模化应用,实现全业务、全链条、全岗位的全场景创新实践。
特别要讲讲垂类模型。我们很早就采用了大小模型结合的方法,实现可信融合和输出,确保输出可控。该模型很早就通过了网信办算法备案,在上海生成式人工智能服务中登记为001号。2024年4月对客服务,7月份推出了全AI的app灵犀应用。现在应用非常广泛,比如AI投顾助手使用率超过98%,我们公司的投顾都在用。AI编码覆盖了整个研发团队,代码补全率超过60%,智能测试用例在科技平台的采用率超过99%。智能运维算法的准确率都超过90%。AI应用已惠及公司1万多名员工、4300多万客户。此外,我们有很多类似智能驾驶等相关的生态合作,包括与华为、腾讯、吉利的合作,为生态伙伴提供模型支持。
五、以AI防御AI,构筑高韧性防御体系
目前AI应用给金融安全防护带来两个巨大挑战。第一,AI本身增加了很多安全暴露点。第二,AI用在安全体系后,提升了安全能力,但防护要求也更高。面对这一局面,我们从五个方面开展AI安全防护工作。
一是构建“主动防护中心”与“安全运营中心”的双引擎架构。主动防护中心聚焦内生安全与蓝军演练,安全运营中心深耕防线建设与“数据采集–分析–处理”全流程。二者互为支撑,形成了AI自身的“全链路防护”闭环(Security for AI),实现对集团业务及AI系统的全生命周期守护。在底层,我们以AI能力引擎、数字资产安全管理、多源威胁情报为基座,向上穿透双中心,实现AI的“全域赋能”(AI for Security)——驱动自动化响应与智能化决策。
二是构筑“四位一体”闭环。大模型带来了新的安全挑战:提示词注入、知识库越权、智能体劫持……传统规则防御已经显得捉襟见肘。我们坚持合规底线,以数据为核心抓手,坚定践行“以AI对抗AI”的理念,构建了“渗透测试–动态护栏–智能研判–应急响应”的四维一体闭环。这套机制实现了从漏洞清零、运行时精准防控,到全量AI辅助研判,再到分级熔断与快速恢复的全流程覆盖,为大模型业务构筑起高韧性的安全屏障。在今年重保期间,该机制精准识别攻击15起,攻击拦截率达到100%。总的来讲,将大模型能力反哺安全运营,驱动AI全域赋能安全,同时我们也知道AI带来新的安全风险,必须重视。
三是构建AI情报中枢。我们联合中证信息技术等机构,在证监会的指导下,共建了集团多源共享威胁情报智能体中心,专门应对证券行业的APT攻击、供应链风险等高级威胁。该项目融合大模型、智能体与多源威胁情报技术,构建了“行业–集团–子公司”三级智能体生态,形成上下联动的行业情报协同防控格局。在技术架构上,我们采用“4+1”分层设计,覆盖恶意IP、钓鱼邮件、漏洞风险等典型场景的全流程智能化处置,并内嵌人工审批机制,确保高风险操作“可见、可控、可审计”。让情报不只是“看得见”,而是真正转化为“打得赢”的战斗力。
四是打造AI流量检测模型。0day漏洞、加密通信这类未知威胁,历来是流量检测的最大难点。这是我们和深信服合作打造的全栈智能流量检测大模型,我们通过打造智能流量检测大模型,依托“攻击理解+业务感知”双核驱动,成功破局,构建了“检测–学习–进化”的闭环机制,将安全专家的攻防知识沉淀为AI的即战力。目前,该方案已覆盖0day攻击、加密后门通信、混淆对抗、未授权访问等场景,并具备攻击辅助研判能力,在显著提升检测精度的同时,大幅优化了运营效率。
五是构建AI安全大脑。在AI时代,防守方最大的劣势是响应速度,而最大的优势,是对业务风险的最终裁决权。因此,AI SOC的核心定位就是“用AI对抗AI”——用机器速度对抗机器速度,用AI推理能力覆盖未知变种,再由人从业务视角做出最终裁决,构建业务数字安全韧性防护体系。这种具备一定数字韧性的安全防御体系,是我们长期要坚持做的。因为现在的攻击无论是裂变式伪装还是智能目标选择,对安全要求越来越高。在模型对模型方面,还有针对技术、智能降噪、类型识别等大量课题,需要花更多力气去研究。
最后讲讲韧性未来。现在的做法是外挂智能体——侦测智能体、威胁狩猎智能体、检测隐形智能体、第三方协同智能体,实现高韧性体系建设。不跌倒很难,最大的本事是跌倒了以后迅速恢复。这是新的挑战,也是我们需要探索的领域。AI时代的网络安全,比拼的是攻防耐力与体系韧性。唯有在一轮又一轮的持续对抗中坚持人机协同、人机合一,才能为业务安全发展筑牢屏障,提供坚定而持久的保驾护航。
盛鹏配资提示:文章来自网络,不代表本站观点。