基准测试的验证困境与开源复刻运动
基准测试对衡量人工智能进步至关重要，但企业出于保密或伦理考量（如OpenAI早期未发布GPT-2），常限制代码与数据的公开。这导致第三方难以验证声明，甚至被指“削弱科学价值”。例如，《自然》杂志曾刊文质疑谷歌健康癌症预测系统因隐瞒关键技术细节而影响性能评估。
为打破僵局，AI社区成员正致力于从头复现专有系统。哈佛博士候选人Gustaf Ahdritz主导的OpenFold项目，旨在验证并开源DeepMind AlphaFold 2的完整训练代码与数据，以弥补官方发布中非商业许可及训练数据缺失的问题，促进科研与行业应用。
类似努力还包括EleutherAI、Hugging Face BigScience对类GPT-3模型的开源，以及Philip Wang维护的DALL-E实现等。Wang认为，开源能减少重复劳动，推动AI民主化。此外，Google员工Brian Lee和Andrew Jackson利用内部资源创建了AlphaZero复刻版MiniGo，尽管缺乏GPS般的详细指引，仍成功还原了核心功能。
这些开源工作不仅验证了系统有效性，还拓展了新应用场景。Ahdritz指出，拥有训练代码才能开发药物结合预测等新变体；Jackson则强调，开源促进了实用知识传播，帮助社区在有限算力下探索模型潜力。
然而，逆向工程充满挑战。由于缺乏源代码、权重及明确的技术说明，开发者需从碎片信息中拼凑细节，且受限于硬件差异，常被迫做出妥协。Ahdritz坦言，计算密集型阶段的微小错误可能导致项目大幅倒退，且难以优化原系统中看似笨拙的设计选择。
尽管面临困难，专有实验室似乎对此持默许态度。Ahdritz表示，虽未收到DeepMind的明确支持，但也无人阻止此类工作，这暗示了业界对开源验证的包容性。