大数跨境

人工智能赋能视觉内容与社会科学研究:从图像生成到实验效应预测

人工智能赋能视觉内容与社会科学研究:从图像生成到实验效应预测 研美MEI营销社
2026-11-11
8
导读:人工智能赋能视觉内容与社会科学研究:从图像生成到实验效应预测

人工智能赋能视觉内容与社会科学研究:

从图像生成到实验效应预测

——中国营销工程与创新研究中心2026-2027年第一学期第9次研讨会


2026年11月9日9:00,中国营销工程与创新研究中心(以下简称“MEI”)2026-2027年第一学期第9次研讨会(以下简称“Seminar”)在MEI如期举行,参与本次研讨会的有黄敏学老师及MEI各位成员。

本次Seminar由孙嘉悦研读两篇文章《Pinterest Canvas: Large-Scale Image Generation at Pinterest》和《Large language models can predict the results of social science experiments》。


《Pinterest Canvas: Large-Scale Image Generation at Pinterest》

一、引言 

随着生成式人工智能的发展,图像生成与编辑技术逐渐应用于商品展示、广告设计和内容创作。Pinterest用户通常带着穿搭、家居和购物等具体需求寻找灵感,因此,生成结果需要对应真实商品,并支持用户后续行动。

通用图像编辑模型虽然具有较强的灵活性,但仅依赖提示词难以稳定满足商业应用要求。在生成新背景时,模型可能改变商品的颜色、纹理和轮廓,甚至产生部件缺失、悬浮或不合理的支撑关系,影响商品信息的准确呈现。

不同任务对同一商品还可能提出不同要求。例如,背景生成需要保持商品外观与边界,而场景合成可能需要调整视角和光照。针对这些问题,研究提出Pinterest Canvas,通过多任务预训练、任务专用微调与生产质量控制,使模型适应具体业务需求。

二、相关研究 

图像生成与条件编辑

潜在扩散模型通过在潜在空间中生成图像提高计算效率,扩散Transformer则利用Transformer骨干网络扩展模型能力。Stable Diffusion 3与FLUX.1等模型进一步推动了图像生成技术的发展。

在参考图像控制方面,ControlNet与IP-Adapter通过辅助模块引入条件信息,FLUX.1 Kontext则将参考图像编码后与图像标记序列拼接。Canvas采用Kontext架构,在自有数据上训练后,再进行任务专用微调。

画幅扩展、场景合成与短时动态生成

画幅扩展需要在较大范围生成新内容,同时维持原图和商品的一致性;场景合成需要协调多个商品的身份、风格与空间布局;图像转动态任务则需要控制时间一致性,避免出现时序伪影。

针对不同任务的特点,Canvas在背景生成和纵向扩图中使用掩码及专门的后处理流程,在多图场景合成中使用真实场景和最多八张参考商品图像,并复用图像编辑骨干网络生成约两秒的动态内容。

三、研究方法

模型架构与任务变体

Canvas以文本提示词和参考图像作为输入。参考图像经过变分自编码器(VAE)编码后,被加入图像标记序列,模型结合文本指令完成生成或编辑。

共享基础模型采用双流与单流扩散Transformer结构,通过流匹配进行训练,再分别微调为背景生成、画幅扩展、多图场景合成和图像转动态等任务变体。其中,动态生成变体进一步引入视频VAE与时空位置编码。

训练数据与训练过程

研究从超过170亿对图文数据中筛选出超过26亿对高质量数据,并构建覆盖商品多视角、图像近邻、视频关键帧、背景生成、画幅扩展、超分辨率、商品提取和场景合成等九类任务的多模态训练数据。

训练分为四个阶段:首先进行约256²分辨率的文生图训练,再依次开展约256²、512²和1024²分辨率的多模态编辑训练。针对高分辨率生成,研究调整噪声时间步采样,并比较不同设置下的编辑质量。

多模态引导与任务控制

研究通过多模态无分类器引导协调文本指令与参考图像的作用,并针对不同任务选择相应的引导方式和强度。一般编辑与背景生成采用文本引导,画幅扩展采用联合引导,超分辨率任务则不使用额外引导,以适应不同任务对指令遵循和图像保真的要求。

广告增强流程

在实际应用中,系统首先筛选输入图像,准备掩码和提示词,以416×608分辨率生成候选图像,再通过奖励模型排序,保留最佳候选。随后进行三倍超分辨率处理,得到1248×1824分辨率的结果。

背景生成任务还会将原始商品合成回生成画面,以保持商品外观。最终结果经过缺陷筛查,并由两名审核人员独立审核。仅对最佳候选进行放大和后续处理,有助于减少计算与审核成本。

四、实验结果

第三方背景生成模型比较

研究选取996个商品,在同一商品使用相同提示词的条件下,对比Canvas与其他背景生成模型。Canvas每个输入仅生成一个候选,不使用奖励模型排序;任一审核人员发现缺陷,即计为存在缺陷。

Canvas的商品无缺陷率达到84.0%,整体无缺陷率为47.2%,高于Nano Banana的42.5%。但Canvas的背景无缺陷率为54.9%,略低于Nano Banana的55.9%,说明其主要优势来自商品保真。

专项微调与生成效率

在637个样本上,专项微调使整体无缺陷率从54.2%提升至58.4%,与此前双任务模型58.9%的结果处于误差范围内。相较于为两个扩图任务分别训练,共享基础模型降低了17%的训练成本。

在候选生成方面,两个候选相较于一个候选,运行时间约增加20%,可用产出相对提升约7%;增加至八个候选时,可用产出相对提升约10%。结果表明,增加候选数量能够改善产出,但收益逐渐递减,且人工审核仍是主要成本。

线上A/B测试

背景生成使广告点击率相对提升18.0%,持续30秒的优质点击率提升7.6%,点击量提升18.6%;画幅扩展使上述指标分别提升12.5%、6.8%和12.9%。

两类图像增强均改善了用户参与度,但研究报告的指标不包含购买转化,因此不能直接据此推断销售提升。

多图场景合成与短时动态展示

研究还展示了最多使用八张参考商品图像进行场景合成的案例,以及约两秒的镜头或背景运动效果,说明共享模型能够进一步支持多商品组合与短时动态内容生成。这部分结果主要以定性案例呈现。

五、结论与讨论

研究表明,共享基础模型可以支持多种图像编辑任务,任务专用微调有助于满足不同业务要求,而掩码、原始商品合成、候选排序与人工审核共同支持了商品保真与实际部署。

同时,严格审核下仍有较多结果存在缺陷,生产流程对人工判断具有一定依赖;场景合成与动态生成缺少充分的定量评估,模型规模、计算资源与完整训练设置也未充分披露。实际应用中,需要结合数据适配程度、商品一致性和单位可用结果成本,综合评价系统表现。


《Large language models can predict the results of social science experiments》

一、引言与研究背景 

大语言模型已经被用于模拟不同人群的问卷回答。社会科学实验则进一步关注:改变信息内容或呈现方式,会让人们的态度或行为发生多大变化?

模拟回答水平与预测实验处理效应存在区别。即使模型认为两个实验组都会表现出较高支持度,两组之间的真实差异仍可能很小。因此,模型需要准确捕捉实验材料变化带来的反应差异。

研究者通常依据理论判断、小样本预实验或专家意见选择假设与干预方案。如果模型能够预测不同方案的相对效果,就可能为正式实验前的筛选提供补充依据。

围绕这一问题,文章主要考察:模型能否预测社会科学实验的处理效应;预测能力能否推广至未发表研究、其他模型及不同实验类型;模型预测可以支持哪些科研决策,以及存在哪些风险。

二、本研究 

两个实验档案

主要实验档案包括50项TESS调查实验和20项复现项目实验,共70项实验、469个效应,涉及119,330名参与者。这些研究面向美国一般人群,主要使用文字材料和自我报告结果。

大型多干预研究档案包含15项研究、606个效应,涉及4,862,362名参与者。其中包括10项调查实验和5项现场实验,部分研究使用非文字材料。同一研究中的多个干预共享对照条件,便于比较不同干预的相对效果。

模拟回答与效应计算

研究从具有美国全国代表性的样本中抽取人口统计特征,为模型提供任务说明、假想参与者特征、原始实验材料、结果问题及完整量表。

每个实验条件与结果变量组合使用120个提示词,每个提示词抽样生成5次回答。研究先计算各条件的模拟回答均值,再通过处理条件与参照条件的均值之差,得到预测处理效应。各次模拟独立调用模型,不共享对话历史。

预测表现的评价

研究通过原始相关系数与校正相关系数评价模型区分效应强弱的能力,其中校正相关系数考虑了实测效应中的抽样误差。

此外,研究使用实测效应对预测效应的回归斜率考察幅度偏差,并通过均方根误差衡量预测值与实测值之间的差距,从而区分“能否判断效应强弱”与“能否估准效应大小”。

三、实证结果 

主要实验档案中的预测表现

研究统一重新估计原始实验效应,并通过重复选择参照条件和结果变量评价预测稳定性。GPT-4预测与实测效应的原始相关系数为0.85,校正后为0.92,说明模型能够较好地区分不同实验效应的强弱。

但实测效应对预测效应的回归斜率为0.56,表明预测总体上高估了效应幅度。原始均方根误差为11.09个百分点,校正后为10.59个百分点,提示具体幅度仍需使用相近研究中的真人数据进行校准。

不同模型与提示词数量的比较

在GPT系列中,模型预测的校正相关系数从GPT-3的0.24提升至GPT-4的0.92;所比较的三个开放权重模型,其校正相关系数介于0.81至0.86之间。

增加提示词数量也有助于改善预测。提示词数量从1个增加至8个时,平均原始相关系数由0.64提升至0.80,此后继续增加提示词,收益逐渐减小。

未发表研究与普通人预测

在训练截止前尚未公开发表或发布预印本的30项研究中,模型预测的原始相关系数为0.90,校正后为0.95。这为预测能力提供了补充证据,但公开时间只能间接反映训练数据接触情况。

研究还收集了2,659名美国普通人的预测。普通人平均预测与GPT-4预测的相关表现差异未达显著。将两者等权平均后,原始相关系数提升至0.89,校正后的均方根误差降至8.59个百分点,体现出人机预测的互补性。

大型多干预研究与专家预测

在15项大型多干预研究中,模型的汇总原始相关系数为0.39,校正后为0.48,低于主要实验档案中的表现,且仍存在效应幅度高估。

现场实验和包含非文字材料的研究呈现较低相关系数,但这些分组差异属于描述性结果,未进行统计显著性检验。在具有共同预测基准的9项研究中,模型与专家预测的相关表现差异未达显著,两者均有高估效应幅度的倾向。

预实验、复现与干预筛选

研究通过样本拆分,将部分真人样本作为预实验,其余样本作为验证基准,比较不同预测方式的误差。在该档案的评估条件下,经校准的模型预测结合100人的真人预实验,其预测误差与约385人的纯真人预实验相近。

在复现分析中,更大的模型预测效应与更高的拆分样本复现概率相关。但这种设计主要反映小样本引起的复现困难,跨地区、跨时间和跨团队的复现仍需独立检验。

在11项具有专家预测的多干预研究中,人机结合预测用于筛选效果最好的20%干预时,所选干预的实测效果相较于仅依据专家预测提高约6%;仅选择一个干预时提高约8%。

社会科学研究者的使用意愿

对460名社会科学研究者的调查显示,76.3%的受访者对至少一项用途给出的使用可能性超过50%。潜在用途包括统计功效分析、干预筛选、预实验支持和复现优先级安排。

四、讨论与启示 

相对效应与绝对幅度

研究表明,模型能够在美国文字调查实验中较好地区分效应强弱,但具体幅度存在系统性高估。使用预测值前,需要结合相近的真人实验进行校准;缺乏可靠校准数据时,应优先关注干预方案的相对排序。

群体误差与使用风险

研究者主要关注刻板印象、群体预测偏差、个体反应差异被低估以及可重复性等风险。不同人口统计群体中的预测误差并不一致,总体上的良好表现不能直接代表对所有群体均同样适用。

此外,预测工具也可能被用于筛选具有负面影响的内容。因此,相关防护需要同时覆盖内容生成,以及对已有内容的评价与选择。

研究局限与未来检验

现有证据主要来自美国文字调查实验,其他文化、群体、刺激形式及真实行为结果仍需独立验证。模型还可能低估个体回答的变异程度,直接使用模拟数据计算标准化效应或规划样本量可能引入偏差。

研究的预测评估未进行预注册,闭源模型的训练数据和更新记录也存在透明度限制。未来可通过预注册分析、公开比较预测与实测结果,并记录模型版本、提示词和抽样程序,提高研究的可重复性。

对社会科学研究的启示

研究者可以利用模型并行比较文字材料,结合领域知识筛选候选干预,再通过真人预实验评估预测误差,最终使用随机实验估计真实效应及其不确定性。模型预测由此能够成为研究设计的辅助信息,其具体用途应以目标情境中的验证结果为依据。

文献PPT



 文字|张宇瑄 

审核|刘雨璐

排版|张宇瑄

MEI 中心简介

营销工程与创新研究中心(Research Center for Marketing Engineering and Innovation,简称MEI,网址:www.whueb.com)于原武汉大学管理学院院长甘碧群教授创建的武汉大学电子商务研究中心,自2000年成立以来,一直从事互联网与营销管理相结合研究,是最早从事网络营销与电子商务学术研究机构之一。由武汉大学经济与管理学院的黄敏学教授担任中心主任,致力于将复杂网络分析与文本挖掘技术应用到营销管理研究中,采用工程化思维构建基于大数据的营销模型和实时营销系统,力求推动中国营销研究和管理实践的计算化和工程化,提升营销管理的科学性和前瞻性。



【声明】内容源于网络
0
0
研美MEI营销社
1234
内容 327
粉丝 0
研美MEI营销社 1234
总阅读7.1k
粉丝0
内容327