非正式且奇特的AI基准测试列表仍在不断扩充。
过去几天里，X上AI社区中的一些人变得痴迷于一项测试，该测试考察不同AI模型（尤其是所谓的推理模型）如何处理此类提示：“编写一个Python脚本，用于在形状内弹跳的黄色球。使形状缓慢旋转，并确保球保持在形状内。”
在一些模型处理这个“旋转形状内的球”基准测试时表现优于其他模型。据X上一位用户称，中国AI实验室DeepSeek免费提供的R1将OpenAI的o1 pro mode远远甩在身后，后者作为OpenAI的ChatGPT Pro plan的一部分，每月费用为200美元。
👀 DeepSeek R1（右）完胜 o1-pro（左） 👀
提示词：“编写一个Python脚本，实现正方形内弹跳的黄色小球，确保正确处理碰撞检测。让正方形缓慢旋转。用Python实现。确保球始终保持在正方形内部。” pic.twitter.com/3Sad9efpeZ
—— Ivan Fioravanti ᯅ (@ivanfioravanti) 2025年1月22日
根据另一位X发帖者的说法，Anthropic的Claude 3.5 Sonnet和Google的Gemini 1.5 Pro模型误判了物理规律，导致球逃逸出形状。其他用户报告称，Google的Gemini 2.0 Flash Thinking Experimental甚至OpenAI较旧的GPT-4o一次性通过了评估。
在物理模拟任务（旋转三角形+弹跳球）上测试了9个AI模型。结果如下：
🥇 Deepseek-R1
🥈 Sonar Huge
🥉 GPT-4o表现最差的是OpenAI o1：完全误解了任务 😂
视频见下方 ↓ 第一行 = 推理模型，其余 = 基础模型。 pic.twitter.com/EOYrHvNazr
—— Aadhithya D (@Aadhithya_D2003) 2025年1月22日
但AI能否或不能为包含弹跳球的旋转形状编写代码，这能证明什么呢？
模拟弹跳的球是一个经典编程挑战。准确的模拟会纳入碰撞检测算法，试图识别两个物体（例如球和形状的侧面）何时发生碰撞。编写拙劣的算法会影响模拟的性能或导致明显的物理错误。
X用户N8 Programs是AI初创公司Nous Research的驻留研究员，他表示从零开始编程实现旋转七边形中的弹跳球大约花费了他两个小时。“必须跟踪多个坐标系、每种系统中碰撞是如何进行的，并从一开始就设计具有鲁棒性的代码，”N8 Programs在帖子中解释道。
但是，虽然弹跳的球和旋转的形状是测试编程技能的合理标准，但它们并不是非常实证性的AI基准。提示中的微小变化——也确实如此——会产生不同的结果。这就是为什么一些用户在X上报告说使用o1更成功，而另一些人则表示R1表现不佳。
如果说有什么的话，这些病毒式传播的测试指向了为AI模型创建有用测量系统的棘手问题。除了与大多数人无关的晦涩基准之外，通常很难分辨出不同模型之间的区别。
许多努力正在进行中以构建更好的测试，例如ARC-AGI benchmark和Humanity’s Last Exam。我们将拭目以待它们的表现——与此同时，观看球在旋转形状中弹跳的GIF动图。