美国的在线媒体消费持续增长。根据皮尤研究中心的数据，87%的人口通过手机和笔记本电脑/电脑获取新闻，72%的人口在社交媒体网站上至少有一个账户。对于各大线上平台而言，吸引用户点击链接、提高用户参与度至关重要，毕竟这背后蕴藏着巨大的广告收益。可问题是，如何呈现内容，以说服人们点击它？在线营销和新闻业越来越多地尝试通过优化广告和标题的语言来提高用户参与度。那么，到底哪些语言因素能真正发挥作用呢？
此前，有研究比较了早期内容提供商（为优化点击率而设计标题）和传统主流媒体（尚未采用此类策略）的标题差异，识别出可能作为“点击诱饵”标志的各种语言特征（Richardson等 2007；Chakraborty等 2016；Wei和Wan 2017）。然而，目前尚不清楚所谓的“点击诱饵”策略或其他利用语言来提高参与度和说服力的方法是否真正有效。同时，大量学术文献研究了与人们注意力、说服力和行动相关的因素，但这些理论通常是在截然不同的背景下发展出来的，常常难以判断它们是否以及如何适用于提高参与度的策略。此外，行业内常通过A/B测试来寻找最佳标题，尽管这类大规模行业实验有潜力揭示消费者行为背后的因果驱动因素，但实践中往往并未有战略地变化各种因素，从而难以得出更广泛的结论。本研究旨在将学术理论与行业实验数据结合来填补这些空白，既验证理论的实用性，又帮助企业从数据中提取更深层洞察。
本研究对以往文献进行了广泛的回顾和分类整理。本研究共识别出126篇相关研究论文，从中提取出464项关于可在语言中实施的构念的主张。这些论文在内容和方法上各不相同，涵盖了理论综述、实验室环境下的具体构念实证探索，以及在多种现实情境中对信息效果的多构念测试。这些构念被归类为11个广泛的心理学构念类别，并用于分析本研究在标题数据中可识别的构念。
在本研究回顾的论文中，只有15%的研究是在真实环境中进行因果检验的，而且这些研究仅探讨了少量构念（最多15个，平均每个研究涉及3个构念），这使得本文成为最早在实际情境中对一整套（50个）语言构念对参与度的影响进行因果检验的研究之一。
总体而言，本研究发现现有文献在如何使用构念来提升参与度方面存在显著缺乏共识的情况。在本研究回顾的主张中，60%提出了明确的方向性预测，30%报告了混合或有条件性的结论（例如由于调节变量的存在），10%指出未发现任何效应。此外，关于某一特定构念的不同主张常常相互矛盾。以平均每个构念来看，49%的主张支持最常见的方向性预测，10%提出与最常见预测相反的观点，30%为混合或有条件性结论，11%表明该构念没有影响。事实上，在本研究能够识别出多个主张的构念中，文献仅在2%的情况下提供了明确一致的方向性预测。
本研究还识别出一部分论文（占总数的15%），它们专门对那些激励人们寻求信息的因素做出了预测，本研究将这部分称为“信息寻求文献”（相对于上面讨论的“整体文献”）。在这部分“信息寻求文献”中，论文主要研究人们在接受文本刺激后是否会主动寻求更多信息（例如搜索更多相关信息、继续阅读的倾向等）。请注意，在126篇论文中，仅有20篇研究了新闻内容，其中只有5篇测试了其对点击率的影响。在信息寻求子集中，本研究发现81%的主张提出了方向性预测，4%为混合或有条件性结论，15%指出未发现任何效应。即使在信息寻求范围内，本研究也仍然发现了相互矛盾的主张。以平均每个构念来看，78%的主张支持最常见的方向性预测，10%与最常见预测相反，3%为混合或有条件性结论，9%表明该构念没有影响。实际上，在本研究能够识别出多个主张的信息寻求文献中，仅在25%的情况下这些主张给出了明确一致的方向性预测。
数据来源
本研究使用由Upworthy进行的标题A/B测试的数据集。目前该数据集包括从2013年1月24日至2015年4月14日期间进行的32,488次测试。对于每一次测试，该数据集都包含了针对特定文章所进行实验中的每一个“内容包”的具体内容。整个数据集中包含超过15万个“内容包”，每个实验中平均包含4个“内容包”。这些“内容包”总共获得了超过5.38亿次展示（impressions）和超过800万次点击（clicks）。
由于使用的是二手数据，并未亲自开展实验，因此无法获得有关实验具体实施方式的全部信息。特别是关于确切的随机化过程仍存在不确定性。为了检验是否进行了有效随机化，使用卡方检验来判断每个实验中不同标题的展示次数是否大致均衡。如果在同一个实验中，不同标题所获得的展示次数差异超过了随机预期（例如，超过5%），这可能意味着随机化过程存在问题或采用了非标准的随机化方法，从而可能影响结果的因果解释的有效性（Eckles 2024）。在探索性数据集中，有27%的实验显示出了统计显著的展示次数差异，主要发生在2013年。因此，出于对2014年之前未知随机化机制的担忧，在主要分析中排除了所有2014年1月之前进行的实验。此外，部分标题中包含问号以替代原始文本的一部分（例如：“hahaha, so??? true! 12 statements veterans are pretty damn tired of hearing.”）。由于无法确定被省略的具体内容，也排除了任何在文本中包含两个或以上此类问题问号的标题。在完成这些初步排除之后，在验证性数据集中还剩下17,411次实验，其中仅有5%的实验在展示次数上出现了统计显著的差异，这一比例与随机预期相符。继而又排除了从未向用户展示过的测试（即零展示次数）以及缺失测试ID的数据包（Matias等 2021）。鉴于本研究重点是读者从标题中提取的语言线索，进一步排除了实验中所有配有不同图片的内容包，以隔离仅由标题带来的因果效应。同时，本研究也在每个实验中删除了重复出现的标题（随机保留一个）。在完成所有这些排除步骤之后，在探索性数据集中最终保留了7,797次实验，这些实验用于本文报告的分析。
变量处理与验证
利用文本分析工具（LIWC2015和LIWC2022；Text Analyzer；其他先前文献中使用的编码体系；以及为本研究原创构建的词汇列表），从标题文本中提取出140个变量，涵盖语言特征、语法结构和心理因素等方面。经过相关性分析和因子分析，将这些变量整合为61个心理构念和15个主题指标。随后，排除了在探索性数据集中至少在5%的实验（例如87次实验）中没有表现出变异的任何构念。并通过Prolific平台进行验证性研究，让参与者对标题进行评分，最终确定了50个有效构念用于后续分析。
模型构建与分析
为了探究这些构念对标题点击率的影响，本研究构建了线性概率模型，控制了其他构念、话题和展示次数等因素。同时，采用Holm-Bonferroni校正和LASSO回归方法，以减少多重测试带来的误差和过拟合问题。
结果
1.总体结果。研究发现，过往文献中认为可能影响标题效果的构念，确实在整体上对标题的有效性有显著影响，但文献中的预测与实际结果并不完全一致。在未校正多重比较的模型中，50个构念中有32个对点击率有显著影响；经过Holm-Bonferroni校正后，仍有18个构念显著影响点击率。这说明虽然文献为研究提供了方向，但不能完全准确预测实际效果。
2.交互效应。研究还发现了一些构念之间的交互作用。例如，用具体语言描述愤怒情绪的标题，对读者参与度有积极影响；同时提及男性和女性的标题，也能提高参与度。不过，总体而言，检测到的交互作用数量有限。除了检验构念×构念之间的交互外，还单独测试了构念与主题之间的交互作用，以评估标题是否围绕某一特定主题展开。结果表明，构念的影响在大多数情况下与主题无关，也就是说，标题的主题框架（topic-framing）不太可能系统地改变某个构念的实际效应。
3.标题和副标题的相似性。研究结果显示，没有足够的证据表明：标题与副标题之间的相似性会直接影响点击率；或者它会调节任何特定构念对点击率的影响。
4.与其他模型和判断的比较。与无理论基础的语义嵌入模型相比，本研究基于理论的构念模型在拟合度上表现更好，且包含独特的预测变量。但在预测点击率方面，语义嵌入模型表现更优，不过基于构念的模型具有可解释性优势。
5.本研究与消费者、从业者和学者的判断比较。尽管消费者和营销人员对语言构念如何影响点击率有自己的直觉判断，但他们并未准确预测出本文实证研究中发现的实际效应。相反，他们的预测更接近传统文献和行业建议，而不是真实世界的数据结果。这也表明，已有理论和实践指导在某些情境下可能存在局限性，需要通过严谨的方法重新验证和更新。
对于市场营销人员而言，本文验证了一个观点：措辞上的看似微小变化确实可能影响用户参与度。然而，与普遍认为“有效信息的设计是一种主要依赖经验和直觉的‘艺术’”这一看法相反，研究发现表明：已有文献中识别出的一些因素可以在Upworthy的语境中系统性地提升用户参与度，但这些效应的方向并不总是与学术文献所预测的方向一致。这些发现强调了这样一个风险：在设计营销信息时，如果直接依赖于在完全不同情境下识别出的行为原则，可能会产生误导。同时，这也凸显了在特定本地情境下进行多种方法测试和实验优化的重要性（Goswami和Urminsky 2020）。
最后，本文提出了一种新颖且通用的方法论框架——即在概念性理论与大规模实地实验之间建立桥梁——为相关研究提供了初步的概念验证，并突出了一个可能被企业忽视但极具价值的机会。那些正在进行大规模A/B测试的企业，可以通过这种方法实现系统性的学习成果。通过识别并验证具有理论相关性的构念，并将它们应用于大量个体差异显著的实验聚合预测任务中，可以得出关于消费者行为的洞见，这些洞见至少在局部范围内具有可推广性，从而有助于推动该情境下的最佳营销实践落地应用。
