我们用最近很火的DeepSeek挑战了物理所出的竞赛题,结果…
创始人
2025-02-06 16:23:39
0

我们用最近备受瞩目的DeepSeek挑战了物理所出的竞赛题。怀着满心的期待与好奇开启了这场独特的测试。在整个挑战过程中,DeepSeek展现出了一定的实力,它依据自身强大的算法与海量数据处理能力开始解题。然而,结果却充满了惊喜与思考。它在一些题目上给出了相当精准且富有逻辑的答案,体现出对物理知识有相当程度的理解和运用能力,但也在部分复杂、需要深度推理与创新性思维的题目上遇到了挑战,这也让我们对人工智能在物理竞赛领域的能力边界有了更深的认识。


近日,我国“深度求索”公司发布的具备深度思考和推理能力的开源大模型 DeepSeek-R1 受到了全世界的关注。

在 DeepSeek-R1 之前,美国 OpenAI 公司的 GPT-o1,Athropic 公司的 Claude,Google 公司的 Gemini,都号称具备了深度思考和推理能力。这些模型在专业人士和吃瓜网友的五花八门的测试中,表现的确是惊才绝艳。

特别引起我们兴趣的,是 Google 的专用模型 AlphaGeometry 在公认高难度的国际奥林匹克数学竞赛中取得了 28/42 的成绩,获得银牌。学生时代我们也接触过奥数,深知能在此类国际奥赛中获银牌的选手,无一不是从小就体现出相当数学天赋,且一路努力训练的高手。能够达到这个水平的 AI,称其为具备了强大的思考能力并不过分。自打那之后,我们就一直好奇,这些强大的 AI,它们的物理水平又如何?

1 月 17 日,中科院物理所在江苏省溧阳市举办了“天目杯”理论物理竞赛。没过两天, DeepSeek-R1 的发布引爆 AI 圈,它自然成了我们测试的首选模型。此外我们测试的模型还包括:OpenAI 发布的 GPT-o1,Anthropic 发布的 Claude-sonnet。

下面是我们测试的方式:

1.整个测试由 8 段对话完成。

2.第一段对话的问题是“开场白”:交代需要完成的任务,问题的格式,提交答案的格式等。通过 AI 的回复人工确认其理解。

3.依次发送全部 7 道题目的题干,在收到回复后发送下一道题,中间无人工反馈意见。

4.每道题目的题干由文字描述和图片描述两部分组成(第三、五、七题无图)。

5.图片描述是纯文本方式,描述的文本全部生成自 GPT-4o,经人工校对。

6.每个大模型所拿到的文字材料是完全相同的(见附件)。

上述过程后,对于每个大模型我们获得了 7 段 tex 文本,对应于 7 道问题的解答。以下是我们采取的阅卷方式:

1.人工调整 tex 文本至可以用 Overleaf 工具编译,收集编译出的 PDF 文件作为答卷。

2.将 4 个模型的 7 道问题的解答分别发送给 7 位阅卷人组成的阅卷组。

3.阅卷组与“天目杯”竞赛的阅卷组完全相同,且每位阅卷人负责的题目也相同。举例:阅卷人 A 负责所有人类和 AI 答卷中的第一题;阅卷人 B 负责所有人类和 AI 答卷中的第二题,等等。

4.阅卷组汇总所有题目得分。

结果如何呢?请看下表。

结果点评:

1.DeepSeek-R1 表现最好。基础题(前三题分数拿满),第六题还得到了人类选手中未见到的满分,第七题得分较低似乎是因为未能理解题干中“证明”的含义,仅仅重述了待证明的结论,无法得分。查看其思考过程,是存在可以给过程分的步骤的,但最后的答案中这些步骤都没有体现。

2.GPT-o1 总分与 DeepSeek 相差无几。在基础题(二题、三题)中有计算错误导致的失分。相比于 DeepSeek,o1 的答卷更接近于人类的风格,因此以证明题为主最后一题得分稍高。

3.Claude-sonnet 可谓“马失前蹄”,在前两题中连出昏招打了 0 分,但后续表现跟 o1 相当接近,连扣分点都是类似的。

4.如果将 AI 的成绩与人类成绩相比较,则 DeepSeek-R1 可以进入前三名(获特优奖),但与人类的最高分 125 分仍有较大差距;GPT-o1 进入前五名(获特优奖),Claude-sonnet 前十名(获优秀奖)。

最后想聊几句阅卷的主观感想。首先是 AI 的思路是真的好,基本上没有无法下手的题,甚至很多时候一下子就能找到正确的思路。但跟人类不同的是,它们在有正确的思路后,会在一些很简单的错误里面打转。比如通过看 R1 的第七题思考过程,就发现它一早就知道要用简正坐标来做,能想到这一步的考生几乎 100%求解出了正确的简正坐标(一个简单的矩阵对角化而已),但是 R1 似乎是在反复的猜测和试错,到最后也没有得到简正坐标的表达式。

还有就是所有的 AI 似乎都不理解一个“严密”的证明究竟意味着怎样的要求,似乎认为能在形式上凑出答案,就算是证明了。AI 如同人类,也会出现许多“偶然”错误。比如在正式的统一测试前,我们私下尝试过多次,很多时候 Claude-sonnet 可以正确解出第一题的答案,但正式测试的那次它就偏偏做错了。出于严谨,我们也许应该对同一道题测试多次然后取平均,但实在是有点麻烦……

相关内容

日本东京暴雨 火车站变“水...
近日,日本东京遭遇暴雨侵袭,其火车站瞬间变身为“水帘洞”。暴雨如注...
2025-07-11 12:38:33
原创 ...
马其顿是地处于古希腊边陲的一个地区。公元前6世纪左右,马其顿完成了...
2025-07-11 12:33:51
原创 ...
《——【·前言·】——》 唐初,李世民以卓越的军事才能和果敢的决策...
2025-07-11 12:33:24
原创 ...
谈及长平之战,赵国屡战屡败,让人不禁思考,到底是国力不济还是朝堂之...
2025-07-11 12:33:18
探秘南越王赵佗墓穴,苦心钻...
岭南地区的考古证实,西汉时期的南越国虽然割据岭南,自成一脉,但也遵...
2025-07-11 12:33:17
原创 ...
在作为商朝鼎盛阶段的武丁时期以后,相继为王的是祖庚和祖甲兄弟两人。...
2025-07-11 12:33:10
原创 ...
勾践的王后雅鱼,在越国攻破吴国的时候选择自杀,最重要的原因就是她的...
2025-07-11 12:33:06
原创 ...
天龙八部的历史时期大概是北宋哲宗时期,公元1100年左右,此时北宋...
2025-07-11 12:32:55
原创 ...
秦国,是周国分封在西北边陲的一个小诸侯国;但当时的秦国非常弱小,在...
2025-07-11 12:32:53

热门资讯

杨少华遗体告别,长子杨威大喊:... 7月11日,相声演员杨少华告别仪式在天津举行,大儿子杨威痛别父亲:爸爸一路走好,众人纷纷跪别悼念。
洛迪谈爆冷击败曼城:对结果并不... 北京时间7月1日,世俱杯1/8决赛,利雅得新月4-3爆冷击败英超豪门曼城。赛后,利雅得新月后卫雷南-...
瑞士ZSC Lions集团:零... 导语 高性能的网络对于打造一流的用户体验至关重要。华为“100+行业智能化转型故事”第108期,我们...
2025年“海峡杯”第四届海峡... 2025 年,备受瞩目的“海峡杯”第四届海峡两岸青少年足球赛在福州盛大开赛。福州这座充满活力的城市,...
欧洲议会通过涉华决议,中方:强... 欧洲议会近期通过涉华决议,这一行为引发中方强烈不满与坚决反对。中方始终坚定致力于与欧洲各国发展友好合...
英法首次明确将协调核威慑力量 ... 英国首相斯塔默10日在伦敦郊外诺斯伍德军事基地与到访的法国总统马克龙举行联合记者会时表示,英法双方已...
腿太长了,文班亚马在野球场尝试... 近日,马刺队球星文班亚马正在日本享受他的假期,他在日本参加了足球比赛。 视频中,文班亚马尝试倒钩...
看守所在押人员死亡事件里不容忽... 在看守所在押人员死亡事件中,有一些不容忽视的细节。首先,医疗救治环节至关重要,若医护人员未能及时准确...
赛事奖牌、吉祥物亮相!2025... 7月11日,2025多彩贵州马拉松超级联赛(第四站)暨初好刺梨六盘水马拉松第二次新闻发布会在六盘水市...