随着大语言模型的发展,文本生成的流畅度早已不是问题,但“可控性”成为关键问题。用户需要的不仅是“生成文本”,而是“按要求生成文本”:情感、风格、语气、主题、安全性都要精准匹配。
但现有大模型生成文本始终绕不开三个难题:
冲突难处理:模型可能无法同时满足“浪漫 + 专业”“恐惧 + 喜悦”这类冲突要求,导致输出的文本内容跑偏;
质量难平衡:强化文本属性控制时,生成的内容变得生硬晦涩,失去自然流畅度和语言多样性;
缺乏闭环:大多数文本是“一次性生成”,没有后续的反馈修正,生成效果全靠初始设置。
图1. C3TG提供了广泛的属性控制能力,并能有效解决冲突
无论是直接干预解码的PPLM、COLD等方法,还是靠提示词、微调的间接控制策略,都难以解决这些问题。但C3TG的出现,正好有针对性地补上了这些短板。
C3TG 的核心思路很简单:模仿人类“初稿创作 + 多轮修改”的写作流程,设计了“生成阶段+优化阶段”的两阶段协同架构,既保证了模型的生成效率,又实现了精细化控制。
图2. C3TG框架整体流程图,包括生成阶段和优化阶段,最终生成满足用户要求的文本
1. 生成阶段:多模型“投票”,给文本定好基调
C3TG 以Llama2为基础模型,分为5大类、17个细粒度属性,包括愤怒、恐惧、喜悦等6种情感,礼貌、浪漫、幽默等5种风格,专业、休闲2种语气,知识、正义、人性、勇气4种主题,有毒、无毒2种毒性,训练了轻量级专属模型。
生成每个token时,基础模型和各属性模型都会给出自己的“候选答案”,用户设置的属性权重就是“话语权”,权重越高,对应模型的意见越受重视。C3TG通过加权几何平均融合所有模型的意见,相当于让所有模型一起“投票”,最终生成的初稿就初步具备了多属性一致性。
这种设计的优势很明显:不用改动基座模型结构,仅通过LoRA微调就能实现,额外参数量仅占基座模型的0.3%,兼顾了灵活性和轻量化。
2. 优化阶段:Feedback Agent当“金牌编辑”,多轮修正不跑偏
图3.两阶段蒸馏策略示意图
这个阶段才是C3TG的灵魂,大模型自己当“专业编辑校对”,C3TG通过能量函数和Feedback Agent,实现多轮反馈修正,解决属性偏差和冲突问题。
先打分:用专门训练的分类器,给初稿的每个属性打分,比如“勇气0.5(目标0.9)、喜悦 0.6(目标 0.9)”,算出偏差;
定规则:构建能量函数,既惩罚属性偏差(比如“勇气”数据没达标),又约束非目标属性的波动(比如改写“勇气”时,别把专业感弄丢),还会根据属性相关性自动调整惩罚力度,避免“牵一发而动全身”;
逐轮改:由Llama2-7B驱动的Feedback Agent出手,分三步重写:
- 先补短板:聚焦偏差最大的属性(比如“勇气”数值差 0.4),针对性修改;
- 再做平衡:调整其他属性,比如提升喜悦感,同时保持专业度,化解属性冲突;
- 最后微调:保证整体流畅,不破坏内容结构。
更贴心的是,C3TG默认给“无毒”属性设高权重,每轮修改都自动削弱有害内容,越改越安全,再也不怕 AI 写出不当言论。
为了验证C3TG的实力,研究团队在ROCStories(短文本)和WritingPrompts(长文本)两个数据集上进行大规模实验,对比了COLD、PPLM、LLM-based Prompt 等10余种主流方法,各项核心指标均达到领先级别。
属性准确率:ROCStories上达90.39%,WritingPrompts上达85.56%,远超所有对比方法;
流畅度:两个数据集上的困惑度(PPL)均为最低,说明多轮优化没有牺牲自然性,反而提升了文本质量;
多样性:Distinct-1/2/3指标领先,强约束下仍能保持丰富表达;
安全性:毒性概率大幅降低,平均毒性评分显著低于同类方法。
人工评审也给出了高分,在属性契合度、流畅度、多样性三个维度,C3TG均获得较高评分,实际阅读体验拉满。针对“恐惧0.7 + 喜悦1.0”这种冲突场景,以及“浪漫0.7 + 爱0.7”这种重叠场景,C3TG的优势更明显:属性偏差更小,非目标维度漂移更低,不会出现“为了满足一个属性而破坏其他”的情况,比如同时要求“幽默”和“专业”,C3TG能精准把握尺度,既不显得轻浮,又不会过于刻板。
消融实验也证明了各模块的必要性:去掉优化阶段,多属性对齐和毒性控制明显退化;去掉重叠惩罚项,非目标属性波动大幅增加。
C3TG的潜力可不止于写文案、编故事。未来,它有望在多个领域进行赋能:
内容生产:批量生成符合品牌语调、行业规范的推文、报告,还能切换不同风格;
智能客服:根据用户需求,精准控制回复的语气(专业/亲切)、情感(耐心/安抚),同时保证合规无毒;
教育场景:生成符合教学大纲、适配学生年龄的趣味教案,兼顾知识性和趣味性。
而且C3TG不依赖白盒模型,哪怕是调用ChatGPT、文心一言这类黑盒API,只要外接属性分类器和Feedback Agent,就能实现精准控制。未来还能扩展到品牌语调、价值观约束等更高层属性,甚至和多Agent系统结合,让大模型生文同时兼顾安全、逻辑及事实性。
从“能生成”到“按要求精准生成”,C3TG重新定义了可控文本生成的范式。它用“生成 + 优化”的闭环思路,解决了多属性冲突、质量失衡等问题,让大模型真正成为“懂需求、能落地”的内容生产工具。
论文题目:
C3TG: Conflict-aware, Composite, and Collaborative Controlled Text Generation
论文地址:
https://arxiv.org/pdf/2511.09292
作者:
Yu Li, Zhe Yang, Yi Huang*, Xin Liu, Guilin Qi
发表团队及会议:
中国移动九天研究院, 东南大学,发表于AAAI 2026
供稿:九天基础研究中心
编辑:秦睿含、张致宁
复审:潘璐、袁博

