为了进一步挑战 AI 系统喜爱夜蒲，天下还是运行商榷一些最艰难的竞赛中的问题，尽头是海外奥林匹克竞赛和算法挑战。

但现在尚无奥林匹克级别的、多学科的基准，梗概全面评估概括处理问题的智商，以全口履行东谈主工智能的概括阐明智商。

上海交通大学生成式东谈主工智能实验室 ( GAIR Lab ) 的商榷团队推出多学科阐明推理基准 OlympicArena，即使是 GPT-4o 也只达到了 34.01% 的举座准确率，而其他开源模子的举座准确率也难以达到 20%。

这一显著的对比突显了他们基准测试的巨浩劫度和严谨性，施展了它在冲破刻下 AI 智商界限方面的有用性。

OlympicArena 不仅是一套题库，还作念了一些改进，比如为幸免模子"刷题"，团队引入数据泄漏检测技能，接管 N-gram 研究检测数据泄漏，阐明 99.6% 的题目未被预磨真金不怕火数据浑浊。

除此以外还提供了一套全面的资源来撑捏东谈主工智能商榷，包括基准数据集、开源注目平台、详备的评估器具和具有自动提交功能的名次榜。

OlympicArena 难度水平

OlympicArena 隐私数学、物理、化学、生物、地舆、天体裁、打算机科学 7 大边界，细分 34 个分支（如数论、量子物理、有机化学）。题目开头包括海外数学奥赛（IMO）、海外物理奥赛（IPhO）等 62 项顶尖赛事，共11163 谈双语题目（中英对照），内容的难度如何。

AGI-Eval 大模子评测团队基于此，作念了 OlympicArena 题磋商难度考证，按照 14 个标杆模子（去除 Qwen2-72B-Chat）的法规对数据子集和数据集维度作念难度分散，从图中不错看到，OlympicArena 举座难度偏难，仅低于 AGI-Eval 团队独有的两个高中数学竞赛题目。

AGI-Eval 评测模子榜单

"奥赛题是履行 AI 科学想维的绝佳试金石。"这类高难度题目不仅需要学问储备，更考验逻辑推导、空间遐想、象征剖析等概括智商。在这场超等测试中，那擅长代码、学科竞赛的推理系模子推崇如何？

AGI-Eval 大模子评测社区也作念了新的模子评测，接入最新的推理系模子以及诳言语标杆模子。

从举座推崇上看 o1 和 DeepSeek-R1 的水平基本捏平，可是在化学、生物学、天体裁、物理上 o1 推崇好于 DeepSeek-R1，尽头是天体裁上 o1 得分达 92.47%，但数学、地舆方面 DeepSeek-R1 优于 o1。

推理系模子和新迭代的模子版块后果都有显然提高，详备排名及得分可上官网查抄。

学术难度分析

从智商测试上不错看到模子在不同学科的推崇水平不同，在天体裁上 o1 得分高达 92.47%。是天体裁很通俗吗？基于此，团队也作念了联系的学科分析，从底下的箱合图中不错看到（中位数越小越难）：

化学、生物、地舆和天文为一档，该档模子中位数大于 0.6，从箱型大小不错取得构建优先级为：天文 > 化学 > 生物 > 地舆

物理为单惟一档，该档模子中位数 0.5 隔壁，箱型大小较大

数学为单惟一档，该档模子中位数 0.3 隔壁，箱型大小极大

客不雅来说，在数学物理上 R1、o1、o3-mini 推崇智商更好，智商水平也会更踏实。

题型分析

除对模子进行智商评测外，AGI-Eval 大模子评测团队也作念了联系的题型分析，提取出以下雷达图，从图中不错看到 1-5 排名的推理模子对其它模子产生了碾压的态势，尽头是在非选拔题题型上，建议构建题目以单问的生成题为主。

△通用模子 6-10 难度分析

同期也对模子在靠近不同难度题目作念了分析，不错看到头部模子在 Easy 难度基本已接近 100% 的准确率，且无诀别度；Medium/Hard 难度是推理系模子拉开的主战场，且 Meidum 难度已达到 90% 的准确率，后续模子评测建议只构建 Hard 难度的题目。

研究分析，用 Medium、Hard 拟合 Easy，Easy、Hard 拟合 Medium，以及 Easy、Medium 拟合 Hard，不错取得如下图（在 Ideal Fit 线上方的为超出预期，线下的为低于预期）。

O3-mini、O1、DeepSeek-R1 在 Hard 上已越过模子列表中的平时推崇，但在 Medium 上略低于预期

平衡点：即 Easy、Medium、Hard 上分数为若干时三公式有解，说明模子推崇平衡，Easy = 1, Medium = 0.6695, Hard = 0.1897

结语

OlympicArena 的出身，是对现存模子的试金石，更是对 AI 研发旅途的真切启示：仅靠数据堆砌无法达成的确的智能。昔时的 AI 应该学会像奥赛选手同样拆解问题、关联学问、严谨推导。

当模子智商达到这么的水平时，对模子的评测的题目难度及评测条件也越来越高，后续模子评测建议只构建 Hard 难度的题目。

基于此，AGI-Eval 大模子评测团队改进性地提倡了东谈主机互助评测时势，并推出 10q 的全新玩法。待测模子需要在脱色套 system prompt 下率领的确用户学习一个学问点并完成 quiz，基于模子与用户的高质地多轮对话数据，产出愈加高置信度的评测论断。

在这种时势下，参与者不错与最新的大模子共同完成任务，既有助于提高任务完成度又便于建造愈加直不雅的诀别度。

昔时跟着模子智商的接续攀升，AI 还有更多智商值得发掘和探索，对模子智商的覆按也仍有更对改进空间。

论文地址：  https://arxiv.org/pdf/2406.12753

名目地址：  https://gair-nlp.github.io/OlympicArena/

代码地址：  https://github.com/GAIR-NLP/OlympicArena

一键三连「点赞」「转发」「贯注心」

宽宥在指摘区留住你的方针！

—  完  —

速抢席位！中国 AIGC 产业峰会不雅众报名通谈已开启  � � ‍♀️

首批嘉宾曝光啦  � �   百度、无问芯穹、数势科技、生数科技、像素通达等十数位 AI 边界创变者将王人聚峰会，让更多东谈主用上 AI、用好 AI，与 AI 一同加快成长～

4 月 16 日，就在北京，全部来深度求索 AI 怎么用  � �  

� � 一键星标 � �

科技前沿进展逐日见喜爱夜蒲