OpenAI 在推出 GPT-4 时强调其多模态能力，即理解图像与文本上下文。尽管该模型能为复杂图像添加标题或解读（如识别 Lightning Cable），但自3月下旬发布以来，出于滥用和隐私担忧，图片功能一直被保留。本周初，OpenAI 发布技术论文，详述了减轻 GPT-4 图像分析工具风险的具体工作。
安全机制与红队测试
目前，GPT-4 with vision（GPT-4V）主要供 Be My Eyes 应用用户辅助视障人士导航。过去几个月，OpenAI 联合“红队测试人员”探测模型非预期行为，并实施安全措施以防止恶意用途，包括：
- 破解 CAPTCHA 反垃圾工具；
- 识别人物身份、年龄或种族；
- 基于照片不存在的信息得出结论；
- 遏制涉及外貌、性别或种族的有害偏见。
然而，安全措施仍有局限。GPT-4V 存在推断错误、幻觉（编造事实）、遗漏文本字符及无法识别明显物体等问题。
高风险领域表现不佳
OpenAI 明确警告，不应使用 GPT-4V 检测危险物质或化学品。红队测试发现，虽然模型能偶尔识别有毒蘑菇，但常从化学结构图中错误识别芬太尼、卡芬太尼和可卡因等物质。
在医学影像领域，GPT-4V 表现同样不稳定，可能对同一问题前后回答矛盾，且缺乏标准实践知识（如影像左右对应关系），导致多种病症误诊。
偏见与仇恨内容风险
GPT-4V 对仇恨符号理解不足，例如未能识别美国语境下圣殿骑士十字代表的白人至上主义含义。此外，受幻觉倾向影响，即便未明确提及，模型也可能针对仇恨人物或团体创作赞美性歌曲或诗歌。
在生产环境安全措施被禁用时，模型还会表现出性别和体型歧视。测试显示，面对泳装女性图片时，回答几乎完全围绕体重和身体积极概念展开，而对男性图片则无此现象。
总结：仍在完善中的项目
论文措辞表明，GPT-4V 距离最初设想仍有差距。为防止毒性内容、虚假信息及隐私侵犯，公司被迫实施了过于严格的安全措施。OpenAI 正构建缓解措施以安全扩展模型能力（如描述面部但不识别姓名），但 GPT-4V 并非万能药，后续优化任务依然艰巨。