今年一月，Google主导的一项研究显示，其AI算法在检测乳腺癌方面优于医生。该研究扫描了9万份乳腺X光片，据称将假阴性率降低了9.4%。
然而，麦吉尔大学、纽约市立大学（CUNY）、哈佛大学和斯坦福大学的19位学者联合发文质疑该项研究。文章指出，由于Google未公开详细方法论和代码，严重削弱了研究的科学价值。
科学方法与人工智能的可重复性危机
在探讨Google的研究前，需正视科学界普遍存在的可重复性问题。验证研究有效性的核心在于让其他科学家使用相同数据和方法复现结果。2016年一项针对1500名科学家的调查显示，70%的受访者曾尝试复现他人实验但未能成功。
人工智能领域的这一问题尤为突出。例如，2019年国际机器学习会议（ICML）上，30%的作者直到会前才提交论文及代码；多数研究仅提供基准测试结果而非源代码，导致准确性备受质疑。此外，近期报告显示，自然语言处理模型60%-70%的答案直接来自基准训练集，表明模型可能仅是“记忆”而非“理解”。另一项涵盖3000多篇AI论文的荟萃分析也发现，用于比较模型的指标缺乏一致性与规范性，信息量不足。
Google研究为何受批评？
评论文章指出，Google的乳腺癌模型研究在定义开发阶段、数据处理及训练过程方面存在显著缺失：
- 超参数未定义： 研究未提供模型架构中用于诊断预测的关键超参数定义；
- 训练细节缺失： 未说明训练模型及增强数据集的具体变量。
《自然》杂志共同作者警告，这些缺失可能“显著”影响研究结果。例如，Google使用的数据增强方法可能导致同一患者出现多个样本，从而在最终结果中引入偏见。缺乏可重复性已对该研究的科学性产生负面影响。
Google对批评的回应
对此，Google解释称无法发布代码，因其依赖于一系列内部工具、基础设施和硬件。同时，公司以两个训练数据集受许可保护及患者健康数据隐私为由，拒绝公开原始数据。
然而，评论作者反驳指出，生物医学文献中的原始数据共享率已从21世纪初的不到1%升至目前的20%。他们强调，在不侵犯个人隐私的前提下，完全可以发布模型预测和数据标签。
研究透明度的重要性
鉴于此类研究未来将在公共卫生领域产品化并发挥关键作用，数据和训练阶段的透明度至关重要。缺乏透明度可能导致误诊及治疗不足等严重后果。
以眼部疾病识别为例，英国团队分析了94个训练数据集（超50万张图像），发现数据高度集中于北美、欧洲和中国，南亚仅4个数据集，南美洲2个，非洲仅1个，大洋洲和中东地区则完全空白。这种数据偏差严重削弱了AI对特定地区人群的诊断能力。
为避免此类问题在研究和实际应用中重演，批评者呼吁医疗AI研究必须接受第三方独立验证。