引言
随着人工智能技术的飞速发展,大模型(Large Language Model,LLM)逐渐成为研究热点。百川智能作为国内领先的人工智能企业,其大模型在金融、医疗、通用等多个领域展现出卓越的性能。本文将揭秘百川大模型的真实测试结果,带您深入了解其技术实力。
百川大模型概述
百川智能的大模型涵盖了多个领域,以下将重点介绍其金融领域的大模型Baichuan4-Finance和医疗领域的大模型Baichuan-M1-preview。
Baichuan4-Finance
Baichuan4-Finance是一款面向金融领域的全链路领域增强大模型。该模型融合了100B中英文金融知识,采用多层次质量评估体系进行筛选,并由人民大学财政金融学院金融专家团队全程参与定义和评估。
Baichuan-M1-preview
Baichuan-M1-preview是一款全场景深度推理模型,具备语言推理、视觉推理和搜索推理三个维度的全面推理能力。在医疗领域,Baichuan-M1-preview展现出独特的优势,能够像资深医疗专家一样进行深度思考,构建严谨的医学推理过程。
Baichuan4-Finance测试结果
FLAME-Cer评测
在FLAME-Cer评测中,Baichuan4-Finance整体准确率高达93.26%,领先GPT-4o近20%。在银行、保险、基金、证券等多个项目的从业资格认证测试中,Baichuan4-Finance准确率更是达到了95%以上。
FLAME-Sce评测
在FLAME-Sce评测中,Baichuan4-Finance一级核心金融业务场景的整体可用率达84.15%,金融数据计算、金融知识理论等场景的可用率超过90%。
FinanceIQ评测
在国内主流开源金融评测基准FinanceIQ中,Baichuan4-Finance整体准确率达到79.23%,领先GPT-4o近13%。
Baichuan-M1-preview测试结果
AIME和Math基准测试
在AIME和Math等数学基准测试以及LiveCodeBench代码任务上,Baichuan-M1-preview的成绩超越了o1-preview等模型。
MMMU-val和MathVista评测
在视觉推理能力方面的MMMU-val、MathVista等权威评测中,Baichuan-M1-preview超越了GPT-4o、Claude3.5 Sonnet、QVQ-72B-Preview等模型。
医疗领域应用
在医疗领域,Baichuan-M1-preview展现出独特的优势,能够像资深医疗专家一样进行深度思考,构建严谨的医学推理过程。
总结
百川智能的大模型在金融、医疗等领域展现出卓越的性能,真实测试结果令人信服。未来,百川智能将继续深耕人工智能领域,为用户提供更多优质的大模型产品和服务。
