近来，2025金融大模型评测系统在上海发布，这是上一年全国首个金融大模型评测系统发布以来第一次全面晋级至2.0版，首要聚集在规范引领、数据驱动、安全可信与生态共建四方面。
大模型评测系统通常是评价大模型的功能、安全性、可靠性等方面的目标、办法、基准和流程的调集，关于大模型职业的规范化开展有至关重要的效果。特别是近年来，国内涌现出多个金融大模型，但职业还短少较为威望和认可的评测系统。而2025金融大模型评测系统，相当于为职业供给了科学选型与才能对标的重要“标尺”。
据介绍，该评测系统汇聚了4个揭露数据集与22个自建数据集，约3.6万条评测数据，选用循环选项打乱机制和多样化提示词，并研制金融裁判大模型，完成评测全流程自动化、规范化，为上海金融范畴银行、券商、基金、出资等企业或许组织人员供给威望、精准的大模型才能评价，助力组织选型、优化及危险把控。
在最新的评测系统下，本年的金融大模型测验成果全面逾越上一年，职业均匀71.9分提升到87.37分。一起，测验成果还发现，海内外大模型全体才能上相差不大，但在中文范畴，国内大模型处于抢先水平。别的，国内金融大模型在言语了解、术语消歧、法规方针更新和合规对齐等范畴抢先，国外金融大模型则在数学核算、跨步推理、跨言语推理和超长文本处理上抢先。
库帕思首席运营官施佳樑介绍，在柜面操作等高度规范化场景中，模型答复的专业度已达到从业人员水平。不过，在隐性合规危险辨认才能遍及缺乏，部分模型对“打擦边球”行为辨认率低于50%。值得一提的是，金融大模型在角色扮演场景下，安全鸿沟更易被打破，存在“越狱危险”，一起英文指令比中文指令更易绕过大模型的安全机制。
