速递|红杉中国进军AI测评赛道:xbench为何要“摆脱智力题”考察AI的真实效用?
创始人
2025-05-27 12:01:24
0

在基础模型疯狂“刷榜”的时代,传统的AI基准测试正迅速失效——各大模型纷纷取得满分,评测榜单失去了区分度与指导意义。当“考卷”不再能反映真实能力,测评本身就成了问题。

因此,构建一个更加科学、长效和反映AI客观能力的评测体系,正在成为指引AI技术突破与产品迭代的重要需求。

526日,红杉中国宣布推出全新的AI基准测试xbench,并发布论文《xbench: Tracking Agents Productivity, Scaling with Profession-Aligned Real-World Evaluations》。这是首个由投资机构发起,联合国内外十余家顶尖高校和研究机构的数十位博士研究生,采用双轨评估体系和长青评估机制的AI基准测试。xbench将在评估和推动AI系统能力提升上限与技术边界的同时,重点量化AI系统在真实场景的效用价值,并长期捕捉Agent产品的关键突破。

xbench基准测试的特点包括:

xbench采用双轨评估体系,构建多维度测评数据集,旨在同时追踪模型的理论能力上限与Agent的实际落地价值。该体系创新性地将评测任务分为两条互补的主线:(1)评估AI 系统的能力上限与技术边界;(2)量化AI 系统在真实场景的效用价值(Utility Value)。其中,后者需要动态对齐现实世界的应用需求,基于实际工作流程和具体社会角色,为各垂直领域构建具有明确业务价值的测评标准。

xbench 采用长青评估Evergreen Evalution)机制,通过持续维护并动态更新测试内容,以确保时效性和相关性。xbench将定期测评市场主流Agent产品,跟踪模型能力演进,捕捉Agent产品迭代过程中的关键突破,进而预测下一个Agent 应用的技术-市场契合点(TMFTech-Market Fit)。作为独立第三方,xbench致力于为每类产品设计公允的评估环境,提供客观且可复现的评价结果。

首期发布包含两个核心评估集:科学问题解答测评集(xbench-ScienceQA)与中文互联网深度搜索测评集(xbench-DeepSearch),并对该领域主要产品进行了综合排名。同期提出了垂直领域智能体的评测方法论,并构建了面向招聘(Recruitment)和营销(Marketing)领域的垂类Agent评测框架。

在过去两年多的时间里,xbench一直是红杉中国在内部使用的跟踪和评估基础模型能力的工具,今天红杉将其公开并贡献给整个AI社区。无论是基础模型和Agent的开发者,还是相关领域的专家和企业,或者是对AI评测具有浓厚兴趣的研究者,xbench都欢迎加入,成为使用并完善xbench的一份子,一起打造评估AI能力的新范式。

xbench最早是红杉中国在2022ChatGPT推出后,对AGI进程和主流模型进行的内部月评与汇报。在建设和不断升级私有题库的过程中,红杉中国发现主流模型刷爆题目的速度越来越快,基准测试的有效时间在急剧缩短。正是由于这一显著变化,红杉中国对现有评估方式产生了质疑——

当大家纷纷考满分的时候,到底是学生变聪明了,还是卷子出了问题?

因此,红杉中国开始思考并准备解决两个核心问题:

1)模型能力和AI实际效用之间的关系?基准测试的题目越出越难,意义是什么?是否落入了惯性思维?AI落地的实际经济价值真的会和AI做难题呈正相关吗?

2) 不同时间维度上的能力比较:在xbench每一次更换题库之后,我们就失去了对AI能力的前后可比性追踪。因为在新的题库下,模型版本也在迭代,无法比较不同时间维度上单个模型的能力如何变化。在判断创业项目的时候,创业者的成长斜率是一个重要依据,但在评估AI能力上,题库的不断更新却反而让判断失效。

为了解决这两个问题,xbench给出了新的解题思路:

1) 打破惯性思维,为现实世界的实用性开发新颖的任务设置和评估方式。

AI进入下半场,不仅需要越来越难的AI Search能力的测试基准(AI Capabilities Evals),也需要一套对齐现实世界专家的实用性任务体系(Utility Tasks)。前者考察的是能力边界,呈现形式是score,而后者考察的实用性任务和环境多样性,商业KPIsConversion Rate, Closing Rate)和直接的经济产出。

因此,xbench引入了Profession Aligned的基准概念,接下来的评估会使用双轨制,分为AGI TrackingProfession AlignedAI将面临更多复杂环境下效用的考察,从业务中收集的动态题集,而不单是更难的智力题。

2)建立长青评估体系。静态评估集一旦面世,会出现题目泄露导致过拟合然后迅速失效的问题,我们将维护一个动态更新的题目扩充评估集来缓解这一现象。

针对AI Capacity Evals:学术界提出了很多出色的方法论,但是受限于资源与时间不充分,无法维护成动态扩充的持续评估。xbench希望能延续一系列公开评估集的方法,并提供第三方、黑白盒、Live的评测。

针对Profession Aligned Evalsxbench希望建立从真实业务中Live收集机制,邀请各行业的职业专家共同构建和维护行业的动态评估集。

同时,在动态更新的基础上,xbench设计可横向对比的能力指标,用于在时间上观察到排名之外发展速度与关键突破的信号,帮助判断某个模型是否达到市场可落地阈值,以及在什么时间点上,Agent可以接管已有的业务流程,提供规模化服务。

xbench推出当天,官网xbench.org上线了首期针对主流基础模型和Agent的测评结果。

红杉中国表示:xbench欢迎社区共建。对于基础模型与Agent开发者,可以使用最新版本的xbench评测集来第一时间验证其产品效果,得到内部黑盒评估集得分;对于垂类Agent开发者、相关领域的专业和企业,欢迎与xbench共建与发布特定行业垂类标准的Profession Aligned xbench;对于从事AI评测研究,具有明确研究想法的研究者,希望获取专业标注并长期维护评估更新,xbench可以帮助AI评估研究想法落地并产生长期影响力。

相关内容

原创 ...
唐朝的开国皇帝李渊,实在是太幸运了,不但有了以李世民为首的能征善战...
2025-07-11 00:33:45
原创 ...
中国四大美女指的是:西施、王昭君、貂蝉、杨玉环,要论排名则西施居首...
2025-07-11 00:33:45
原创 ...
名字很重要,尤其在古代,这位将军就是因为乳名没起好,葬送了性命,同...
2025-07-11 00:33:43
原创 ...
秦国,一个从边陲小邦逐渐崛起为统一六国的霸主,其辉煌背后,有一位关...
2025-07-11 00:33:41
四川眉山出台土地储备考古前...
8月2日,红星新闻记者从眉山市文物部门获悉,为进一步夯实眉山地下文...
2025-07-11 00:33:32
原创 ...
1958年开始的“大跃进”对当时脆弱的经济造成了极大的破坏,经济结...
2025-07-11 00:33:32
原创 ...
【历史】从世界历史来看,一个穷困国家要发展成为发达国家,那是需要经...
2025-07-11 00:33:27
依恋长城的威廉•林赛一家人...
    英国人威廉•林赛1986年第一次来到中国,1987年成功...
2025-07-11 00:33:03
原创 ...
首先张良和韩信的感情一般,没有必要冒着生病危险去救韩信;其次张良不...
2025-07-11 00:32:49

热门资讯

原创 美... 在赛车界,速度与激情无疑是每一位车手的追求。而Lindsay Brewer,这位年轻的美女赛车手,不...
里尔晒视频回顾吉鲁加盟幕后花絮 里尔晒视频回顾吉鲁加盟幕后花絮
【环时深度】参院选举前,日本政... 【环球时报驻日本特约记者 潘小多 环球时报记者 李萌】编者的话:7月20日,日本将迎来国会参议院选举...
“该茶馆被责令关停”! 呼声回音·第2207期 7月9日,红网《百姓呼声》《问政湖南》《消费维权》栏目共有542条网友留言受...
谢震业安利浙江大学:欢迎大家报... 北京时间7月2日,田径运动员谢震业更新社媒晒出视频,为大家安利浙江大学。 谢震业写道:“十三个春...
184954人!本轮苏超上座数... 184954人!本轮苏超上座数超越中超
前国脚荣昊:去闺蜜家吃饭 喜欢... 前国脚荣昊:去闺蜜家吃饭 喜欢就介绍认识
苏超美女啦啦队之苏州科技大学 苏超美女啦啦队之苏州科技大学
海港比赛日Vlog:2-1力克... 海港比赛日Vlog:2-1力克新鹏城 莱昂纳多传射建功
国足全员抵达大连驻地酒店 正式... 国足全员抵达大连驻地酒店 正式开启东亚杯备战之旅