奥林匹克竞赛里选最聪明的AI：Claude-3.5-Sonnet vs. GPT-4o？

近日，同样是研究团队，首次提出使用"奥林匹克竞赛奖牌榜"的方法，根据各AI模型在奥林匹克竞技场（各学科）的综合表现进行排名，选出迄今为止智力最高的AI。

上海交通大学生成式人工智能实验室 (GAIR Lab) 的研究团队，主要研究方向是：大模型训练、对齐与评估。

团队主页：https://plms.ai/

AI技术日新月异，近来Anthropic公司最新发布的Claude-3.5-Sonnet因在知识型推理、数学推理、编程任务及视觉推理等任务上设立新行业基准而引发广泛讨论：Claude-3.5-Sonnet 已经取代OpenAI的GPT4o成为世界上”最聪明的AI“（Most Intelligent AI）了吗？回答这个问题的挑战在于我们首先需要一个足够挑战的智力测试基准，使得我们可以区分目前最高水平的AI。

上海交通大学生成式人工智能实验室（GAIR Lab）推出的OlympicArena[1] （奥林匹克竞技场）满足了这个需求。

奥林匹克学科竞赛不仅是对人类（碳基智能）思维敏捷性、知识掌握和逻辑推理的极限挑战，更是AI（“硅基智能”）锻炼的绝佳练兵场，是衡量AI与“超级智能”距离的重要标尺。OlympicArena——一个真正意义上的AI奥运竞技场。在这里，AI不仅要展示其在传统学科知识上的深度（数学、物理、生物、化学、地理等顶级竞赛），还要在模型间的认知推理能力上展开较量。

近日，同样是研究团队，首次提出使用"奥林匹克竞赛奖牌榜"的方法，根据各AI模型在奥林匹克竞技场（各学科）的综合表现进行排名，选出