实证社会科学中的证据优先
假设你整理了100个成功的企业AI项目，发现其中80个都得到了高管的直接支持。
这个结果很容易让人想到一个结论：高管支持能够提高AI项目的成功率。接下来，可以找到理论解释，补充访谈材料，再给企业提出建议。
但如果还有900个未成功的项目，其中800个同样得到了高管支持呢？
把这些项目放在一起，获得支持的项目成功率约为9.1%，没有获得支持的项目成功率约为16.7%。关联的方向，竟然与最初的直觉相反。
当然，这也不能证明高管支持降低了成功率。它说明的是，成功项目中经常出现什么，与什么能够提高项目成功的概率，是两个不同的问题。如果没有弄清楚自己在回答哪一个问题，资料收集得再认真，也可能在推断时走错方向。
这个设想的例子，可以帮助我们理解Tom S. Clark与Jonathan Mummolo的一篇方法论论文：Privileging Evidence in Empirical Social Science（实证社会科学中的证据优先）。
两位作者追问：究竟什么样的信息，才足以成为支持某个结论的证据？
他们整合科学哲学和方法论中的既有思想，提出四项基本要求：概念清晰、假定明确、能够区分竞争解释，以及允许他人质疑，并通过警务、政治暴力、选举政策和恐怖主义等研究争论说明其作用。对管理学研究者而言，这四项要求指向一个十分实际的问题：论文里的材料，究竟支撑得起多大的结论？
基本要求一｜概念清晰：先说清楚自己在回答什么
一篇论文研究“企业AI应用”，使用的指标却是年报中的AI词频。这究竟测量了什么？
它直接告诉我们的，是企业在报告中提及AI的情况。如果要据此判断企业已经部署AI系统，还需要证明披露与实际部署之间存在可信的联系。如果进一步主张AI提高了企业绩效，就需要跨越另一道门槛：为什么这种绩效差异可以归因于AI？
材料没有变，研究者赋予材料的任务却越来越重。
Clark与Mummolo认为，概念清晰不能停留在文献综述中的一句定义。研究者还应当说明自己究竟想知道什么：某种行为出现了多少，不同企业之间存在什么差异，还是某项行动造成了什么变化。原文把这种明确的研究目标称为estimand，即目标量。
在管理研究中，这个要求十分具体。绿色专利增加、绿色技术质量提高和碳排放下降，分别对应不同的结果。组织韧性可以指冲击中的损失较小，也可以指冲击后的恢复更快。把它们放进同一个宽泛概念，并不意味着手中的指标可以同时回答所有问题。
原文讨论的一场调查争论，很能说明概念含混的后果。此前一些研究询问美国公众是否支持“政治暴力”，但不同受访者想到的可能是推搡、袭击，也可能是谋杀。研究者得到一个看似精确的百分比，却未必知道受访者支持的是同一种行为。
作者援引Westwood等人的研究：既有估计的中位数为18.5%，其研究中估计的中位数为2.9%。差异涉及问题措辞与回答投入程度，不能理解为公众的真实态度突然发生了如此大的变化。原文还特别说明，被批评的研究通过后续追问，也曾得到约2%—3%的党派支持者赞同致死政治暴力的结果。
这场争论提醒我们，一个数值可以计算得很精确，却对应着一个不够清楚的问题。在讨论估计结果是否可信之前，先让研究对象保持一致，是更基础的工作。
基本要求二｜假定明确：清楚说明研究背后隐含的前提条件
研究者常说“让数据说话”。但从数据走向结论，总需要一些连接条件。
一组受访者为什么能够说明某个群体的情况？采用AI的企业为什么可以与未采用的企业比较？年报里的绿色表述为什么可以反映高管真正投入的注意力？这些问题都涉及假定（assumptions）。
要注意假设（或假说，hypothesis）与假定之间的区别，假设是要被判真假的那个主张，而假定是为了能作出这个判断、必须先预设为真的前提。
论文强调，假定并非薄弱研究才有的缺陷。所有经验推断都依赖假定。更好的研究会把这些条件说清楚，寻找能够检验其可观察含义的办法，并说明当假定不成立时，需要放弃哪些推断。
研究应当明确交代把观察连接到结论的前提假定，并允许他人检查这些前提的可信度。
原文以选民身份证政策的研究争论为例。一项研究比较了实施与未实施严格身份证政策的州，并据此讨论政策对少数族裔投票率的影响。复核者将类似分析放到法律尚未实施的年份，发现模型似乎也能估计出法律导致投票率降低的“效果”。
法律尚未实施，相关差异却已经存在。这意味着，原有分析可能把州之间本来就有的差异，误当成了政策造成的变化。
按照原文的介绍，修正有关问题后，可以得到正、负或零等不同估计，因此难以形成确定结论。这里应当保留“难以确定”的边界，不能进一步宣布政策已经被证明无效。同样，某项安慰剂检验没有发现异常，也不意味着全部识别假定已经得到证明。
对管理学研究而言，这意味着固定效应、匹配或工具变量的名称，需要被展开为具体论证。研究者应解释为什么对照可信、什么变化可能造成混杂，以及采用的方法究竟处理了哪一种威胁。
还有一个更难做到的要求：不能因为结果符合自己的理论期待，就对假定宽容；结果不符合期待时，又突然变得严格。检验标准是否一致，往往比方法列表是否丰富，更能反映研究者如何对待证据。
基本要求三｜能够区分竞争解释：有力的证据会让某些解释更难成立
我们很熟悉一种论文写法：理论预测某种关系，数据中发现了这种关系，于是宣布理论获得支持。
但中间还缺少一个问题：其他解释会不会也产生同样的结果？
假定AI采用与绿色创新正相关。这可能是因为AI提高了分析能力，也可能是因为采用AI的企业获得了更多资金，或者同一项政策同时推动了技术投资和绿色研发。即使注意力基础观能够解释这个结果，也不意味着结果已经特别支持注意力机制。
Clark与Mummolo把这种区分候选解释的能力，视为证据的重要品质。一个观察如果在两种解释下同样容易出现，就很难帮助我们判断哪一种更可信。
这也解释了开头那个AI项目例子的陷阱。只看成功项目，我们可以发现许多“成功项目的共同特征”。但这些特征可能也广泛存在于失败项目中。没有合适的比较，研究者就不知道它们究竟区分了什么。
原文对自杀式恐怖袭击研究的讨论，涉及相似的问题。只分析已经发生的袭击，可以了解这些案例经常伴随什么条件，却不能直接回答这些条件存在时袭击发生的概率。后一个问题需要额外的分母信息、基准发生率，或者把相关概率连接起来的可信假定。即使获得了条件风险，也还需要进一步的识别依据，才能作出因果判断。
这种要求同样适用于质性研究。访谈内容丰富，未必意味着它已经区分了竞争解释。如果企业增加研发投入，被解释为高管重视创新；企业削减研发投入，又被解释为高管通过聚焦重点项目重视创新，那么研究者就需要说明：究竟观察到什么，才会使这一解释受到削弱？
否则，理论似乎能够解释一切，实际却很难受到任何材料的约束。
作者也保留了一项重要空间：证据不必排除所有解释，才能产生价值。一项研究即使无法确定效应的精确数值，只要可信地排除了一部分答案，仍然增加了知识。与其勉强给出一个确定答案，有时准确说明“我们已经排除了什么，还无法判断什么”，更接近研究的实际贡献。
基本要求四｜允许他人质疑：可靠的研究要给别人留下检查的入口
论文使用了contestability这个词，可以理解为“可质疑性”或“可供独立审查”。
它关心的是，其他人有没有办法检查资料的来源、测量方式、分析假定和解释过程。复现代码是其中一部分，但远远不是全部。一套程序能够重复运行，并不保证它回答了正确的问题；一场访谈无法原样重演，也不意味着其材料和解释完全不能接受审查。
原文援引了债务与经济增长研究中的纠错。Herndon、Ash与Pollin复核Reinhart与Rogoff的研究后，指出相关结论受到数据处理等问题的影响，其中包括电子表格错误。这里不能把整个争论简化成“一个单元格推翻一篇论文”。真正值得注意的是，一名研究生及其合作者，能够通过可以检查的材料，对知名学者的结论提出有依据的挑战。
证据由此限制了声望的作用。学术地位可以使一项研究更容易被看到，却不能代替对其推断过程的检查。
对于组织研究，可质疑性并不要求无条件公开所有企业机密或敏感访谈。作者明确承认保密和伦理限制。脱敏材料、受控访问、分析文档以及第三方核查，都可能为独立审查提供路径。
关键是说明哪些环节能够核验，哪些不能，以及这些限制怎样影响结论的可信程度。
文章结尾还提出了一个制度层面的提醒：即使材料已经开放，如果批评者预期自己会遭到人身攻击或职业报复，公开数据也未必带来纠错。共同体需要愿意检查研究的人，也需要能够认真回应检查的人。
客观性因此也体现为一种共同体能力：发现错误以后，是否有条件让错误得到修正。
启示一：有价值的研究关怀也要面对反面证据
讨论证据优先，很容易被误读为要求研究者放弃价值立场。原文明确拒绝了这种理解。
研究者关心环境、劳动、公平或社会安全，这些关切可以影响选题，帮助发现被忽略的问题。它们也可以让研究者愿意长期进入一个现场，收集难以取得的资料。
但当研究开始回答某个经验问题时，就需要允许材料带来不合预期的答案。希望AI推动绿色转型，与AI在某种条件下实际降低了排放，需要分别论证。
类似地，数据来源可能影响可信度，但影响路径应当说清楚。企业报告可能有宣传倾向，行政记录可能存在漏报。研究者需要进一步分析：哪些内容容易被夸大，哪些事件容易被遗漏，这些偏差会怎样改变当前推断？仅凭来源就全盘接受或否定，都会失去继续分析的机会。
研究者身份也可能影响进入现场、建立信任和受访者的回答。作者承认这些机制的重要性。他们反对的是，把身份本身当作无需进一步检查的质量凭证。
伦理则具有不能被忽略的地位。原文明确承认，伦理可以正当地影响发表决定，证据质量并非所有编辑决策的唯一标准。研究过程是否损害参与者、传播是否涉及需要认真评估的风险，都值得独立讨论。
因此，证据优先要求我们把不同问题说清楚：一个结论是否得到支持，研究过程是否合乎伦理，以及成果应当如何传播，并不能由同一个判断自动回答。
启示二：对AI与管理研究最有用的改变
把这篇论文带回管理学，一个值得认真追问的问题是：当我们说“AI重构高管注意力，进而促进绿色创新”时，准备提供什么样的材料？
如果AI应用用年报词频衡量，绿色注意力用另一组年报词频衡量，再通过二者的统计关系解释组织机制，就需要格外认真地验证，分析究竟捕捉到了实际行动、管理认知，还是共同的披露策略。
沿着作者的标准，一个更具体的研究问题可以这样展开：企业将AI系统用于研发项目筛选以后，环境目标何时进入了评价标准？谁推动了这一变化？哪些备选项目因此获得了预算，哪些被放弃？这些决策随后对应了什么创新或运营结果？
会议议程、评价表的版本变化、预算记录和项目过程材料，可以使“注意力重构”变得更加可观察。它们仍需接受来源、时间顺序与替代解释的检查，但至少让理论机制有了可以被质疑的经验落点。
反例也值得进入研究。部署AI却没有改变环境评价标准的企业，反复强调绿色目标却没有调整预算的项目，以及没有采用AI仍实现绿色创新的组织，都可能帮助研究者判断理论的适用条件。
如果使用大模型辅助编码，还要给模型输出提供同样的检查条件。提示词、模型版本、标注规则、人工核验和分歧处理，会影响变量如何生成。模型输出稳定，不等于测量已经有效；不同模型判断一致，也不等于它们没有依赖相同的表面线索。
对论文写作而言，这些要求会改变结论的表达。研究者需要明确区分自己观察到了什么、在什么假定下作出了什么推断，以及哪些机制仍需要进一步验证。这样形成的结论可能更有边界，却也更便于后来者检验、积累和推进。
启示三：给自己的解释留下被修正的可能
对正在写论文的人，这篇文章提供了一个很实际的练习：在继续增加模型之前，先写下一段清楚的话，说明自己的核心结论依赖什么，以及什么材料会使自己修改这个结论。
如果很难回答，问题可能还在研究目标或解释逻辑上。此时，增加样本、调整模型或补充访谈，都未必能够解决最关键的缺口。
对审稿人而言，相应的责任是指出具体问题。与其笼统要求“加强内生性处理”，不如说明哪条识别路径尚未排除；与其泛泛批评“理论贡献不足”，不如指出现有材料还无法区分哪两个解释。批评越具体，作者越有可能据此改进研究。
研究者可以带着鲜明的关怀进入研究，也可以认真为自己的解释辩护。但在证据面前，需要保留改变判断的余地。
一篇论文的可信度，也体现在作者愿意把哪些可能出错的地方，交给别人检查。
论文信息
Clark, T. S., & Mummolo, J. (2026). Privileging evidence in empirical social science [Manuscript dated October 20, 2026].
注：本文依据2026年10月20日版本撰写。四项证据标准见原文第4—18页；有关身份、来源与社会后果的讨论见第19—32页；共同体纠错与批评文化见第33—35页。文中实证争论按照该文的介绍转述，开头的AI项目数字及管理学应用属于解释性示例。
相关研究
Grimmer, J., Hersh, E., Meredith, M., Mummolo, J., & Nall, C. (2018). Obstacles to estimating voter ID laws’ effect on turnout. The Journal of Politics, 80(3), 1045–1051.
Herndon, T., Ash, M., & Pollin, R. (2014). Does high public debt consistently stifle economic growth? A critique of Reinhart and Rogoff. Cambridge Journal of Economics, 38(2), 257–279.
Westwood, S. J., Grimmer, J., Tyler, M., & Nall, C. (2022). Current research overstates American support for political violence. Proceedings of the National Academy of Sciences, 119(12), e2116870119.