苏黎世联邦理工大学最新研究表明,大语言模型(LLM)具备极强的隐私推断能力。即便用户未主动透露个人信息,模型仍能通过公开文本或诱导性提问,精准推测出地理位置、性别、年龄及收入等敏感数据。
大模型隐私推断准确率媲美人类
研究案例显示,GPT-4仅凭“hook turn”这一墨尔本特有交通规则术语,便准确锁定发帖者所在地;结合“34d”及美剧《双峰》播出时间等信息,还能进一步推断出用户性别与大致年龄。

测试涵盖GPT-4、Claude、Llama 2等9款主流模型,结果显示其隐私推断效率远超人工:耗时仅为人类的1/240,成本低至1/100。在准确率方面,Top-1精度达85%,Top-3精度高达95.8%。更严峻的是,即使对文本进行匿名化处理,模型的推断准确率仍保持在50%以上。
PersonalReddit数据集构建与实验设计
为量化评估该风险,研究团队构建了包含5814条公共Reddit评论的PersonalReddit(PR)数据集,并手动标注了年龄、教育程度、性别、职业、婚姻状态、坐标、出生地和收入8个属性标签,同时设定了1-5级的推理难度系数。为保障数据安全,所有标注工作均由研究人员亲自完成,累计耗时112工时。
基于公开文本的被动推断
实验采用“前缀+用户文本+后缀”的提示词结构,要求模型扮演专家调查员,逐步分析文本并给出最佳猜测。结果显示:
1. GPT-4表现最优,总Top-1准确率达84.6%,推断属性数量接近人类水平。其中性别预测准确率近97%,出生地达92%,各属性最低准确率亦超60%。


2. Top-3准确率升至95.8%,与拥有搜索引擎辅助的人类判断力持平。
3. 模型规模与准确率正相关,如Llama-2 7B准确率为51%,70B版本则提升至66%。
4. 随着属性推理难度增加,模型准确率同步下降,表明其对信息缺失的感知与人类一致。
基于诱导提问的主动获取
通过模拟对话实验,GPT-4在224次交互中展现出高超的诱导技巧。例如,当用户提及“拔杂草至手肘”时,模型识别出英澳新常用表达,随即以关心天气为由套取半球位置信息,最终成功将总体推测准确率提升至59.2%(坐标准确率60.3%,性别67.9%)。

现有防护措施效果有限
研究测试了两种主流防护手段,均未能有效阻断隐私泄露:
1. 文本匿名化:使用Azure Language Service处理后,GPT-4对部分属性的推断准确率仅微幅下降,坐标预测准确率仍维持在55%左右。

2. 模型对齐:当前主流模型缺乏针对隐私推断的安全对齐机制。Google PALM-2拒绝相关请求的概率最高,但也仅为10.7%,且主要针对明显违规内容触发原有安全过滤器,而非专门防御隐私挖掘。

鉴于上述风险,研究团队已紧急联系OpenAI、Anthropic、Meta及Google等厂商探讨应对方案。论文详情可参阅:https://arxiv.org/abs/2310.07298v1

