疫情初期AI咳嗽诊断遇冷：独立研究显示其准确率不及用户自报症状
疫情初期，许多研究人员、初创企业和机构开发了人工智能系统，声称可以通过人的咳嗽声诊断新冠肺炎。当时，我们自己对这种能作为对抗病毒武器的AI前景充满热情；在一则头条新闻中，我们支持将用于分析咳嗽的人工智能称为“有希望”。
但最近的一项研究（最初由The Register报道）表明，一些分析咳嗽的算法不如我们——以及公众——所被引导相信的那样准确。这为医疗领域中的机器学习技术敲响了警钟，因为其缺陷并不总是显而易见的。
独立审查：AI模型表现逊于基础数据模型
受英国卫生安全局委托，艾伦·图灵研究所和皇家统计学会的研究人员对基于音频的AI技术作为COVID-19筛查工具进行了独立审查。他们与牛津大学、伦敦国王学院、帝国理工学院和伦敦大学学院成员共同发现，即使是最准确的咳嗽检测模型，其表现也逊于基于用户报告系统和人口统计数据（如年龄和性别）的模型。
该报告的合著者在接受TechCrunch电子邮件采访时称：“这意味着许多应用程序使用的AI模型在预测准确性方面，相比用户自报症状所提供的价值，几乎没有或完全没有额外贡献。”
6.7万人数据验证：咳嗽并非良好生物标志物
在这项研究中，研究人员分析了通过英国国家医疗服务体系（NHS）的“检测与追踪”（Test and Trace）项目和REACT-1项目招募的67,000多人的数据。这些项目要求参与者提交COVID-19鼻拭子和咽拭子检测结果，同时录制他们咳嗽、呼吸和说话的声音。利用这些音频录音和检测结果，研究人员训练了一个AI模型，试图验证咳嗽是否能作为一种准确的生物标志物。
最终，他们发现无法实现这一目标。在控制混杂因素后，该AI模型的诊断准确率并不比随机猜测好多少。
部分原因在于“检测与追踪”系统中的招募偏差，该系统要求参与者至少具有一种COVID-19症状才能参与。但这项研究的主要作者、艾伦·图灵研究所健康与医学科学项目主任克里斯·霍姆斯（Chris Holmes）教授表示，研究结果表明，咳嗽总体上并不是COVID-19的良好预测指标。
他在一份通过电子邮件发表的声明中对TechCrunch表示：“令人失望的是，这项技术在COVID-19检测中不起作用。寻找快速且简便的新方法来诊断像COVID-19这样的病毒，对于阻止其传播至关重要。”
商业应用受挫，过往高准确率存疑
这项研究对富士通（Fujitsu）等商业努力构成了打击，后者推出了“盒中咳嗽”（Cough in a Box）应用。该应用由英国卫生和社会照护部资助，旨在收集和分析COVID-19症状的音频录音。这也让一些科学主张受到质疑。一篇由麻省理工学院（MIT）研究人员合著的论文曾将一种分析咳嗽的COVID-19算法的准确率定为98.5%——从 retrospect 来看，这一百分比显得可疑地高。
这并不意味着图灵研究所关于COVID-19咳嗽检测的研究已是定论。霍姆斯保留了未来该技术可能适用于其他呼吸道病毒的可能性。
医疗AI过度承诺并非个例
但这并非医疗保健AI首次过度承诺而交付不足。
2018年，STAT报道称，IBM的Watson超级计算机因基于少量合成病例进行训练，给出了错误的癌症治疗建议。在更近期的一个例子中，对医疗保健系统提供商Epic用于识别脓毒症患者的AI算法进行的2021年审计发现，该算法漏掉了近70%的病例。