随着GPT-4的发布，其在推理任务上的表现备受关注。本报告通过分析LogiQA、ReClor及AR-LSAT等多个逻辑推理数据集，评估了ChatGPT和GPT-4在多项选择阅读理解与自然语言推理任务中的性能。研究构建了分布外（OOD）数据集以测试模型鲁棒性。实验结果显示，在大多数逻辑推理基准测试中，ChatGPT的表现明显优于RoBERTa微调方法；在人工测试中，GPT-4表现更佳。然而，在处理新发布及分布外数据集时，两者性能均显著下降。这表明对于ChatGPT和GPT-4而言，逻辑推理仍具挑战，尤其是在分布外自然语言推理场景下。
引言与研究背景
逻辑推理是人类智能的核心，将其融入自然语言理解（NLU）系统一直是人工智能领域的研究重点。从早期的基于规则和符号系统，到神经网络时代的大规模NLI数据集（如SNLI、MNLI），再到基于Transformer的预训练语言模型（PLM），相关技术不断演进。尽管PLM在通用基准上表现优异，但在LogiQA、ReClor等源自公务员考试或LSAT的高难度逻辑推理数据集中，其表现仍有不足。
GPT-4与ChatGPT作为新一代多模态语言模型，旨在提升复杂信息的理解能力。本研究聚焦于多项选择阅读理解和自然语言推理两项重推理任务，通过构建分布外数据集，深入分析ChatGPT和GPT-4的逻辑推理优势与局限，主要贡献包括：
- 在多个逻辑推理测试集上评估ChatGPT和GPT-4的多项选择阅读理解与自然语言推理能力。
- 构建分布外逻辑推理数据集，探究模型的鲁棒性。
- 证实ChatGPT和GPT-4擅长解决知名逻辑推理阅读理解基准，但在分布外数据集及自然语言推理任务上仍存在短板。
实验设置与结果分析
本研究选取多项选择阅读理解和自然语言推理作为核心评估任务。前者数据结构清晰、质量高，后者则是评估推理能力的基础范式。
多项选择阅读理解性能评估
表1展示了多项选择阅读理解数据集的实验结果。ChatGPT在长期基准上较基线模型有显著提升：在LogiQA 2.0测试集准确率达53.37%，比RoBERTa基础模型高出近4个百分点；在ReClor数据集上准确率为57.38%，略高于RoBERTa的55.01%。中文LogiQA 2.0测试也显示ChatGPT在中英文语言上性能一致。然而，在分布外数据集上性能大幅下滑：AR-LSAT测试集准确率仅20.42%，LogiQA 2.0 OOD为38.44%，均低于RoBERTa基础模型。
尽管存在局限，ChatGPT仍代表了NLU的重大进步。手动测试显示GPT-4性能更优：LogiQA 2.0测试集准确率达75.26%，ReClor开发集高达92.00%。但其中文版LogiQA 2.0准确率降至51.76%，AR-LSAT测试集仅18.27%，LogiQA 2.0 OOD为48.21%。数据表明，GPT-4在分布外数据集上的性能下降同样明显。
自然语言推理任务表现
表2展示了自然语言推理（NLI）数据集的结果。在逻辑推理NLI任务中，ChatGPT整体优于RoBERTa：对照测试集准确率58.45%（+10%），ConjNLI为47.03%（+9%），HELP为42.31%（+3%），MED为55.02%（+9%），TaxiNLI为57.30%（+7%）。但总体而言，相比阅读理解任务，ChatGPT在NLI任务上仅以微弱优势超越微调后的RoBERTa。
GPT-4在五个NLI数据集上的表现虽优于ChatGPT，但未达预期。其在对照测试集准确率58.18%，ConjNLI和HELP分别为61.00%和53.33%，MED和TaxiNLI分别达75.79%和75.47%。实验发现，即便提供指令示例，GPT-4在NLI任务中仍难以稳定输出标签。由此推断，GPT-4虽在多项选择阅读理解中训练充分，但在自然语言推理任务中遵循指令的能力尚待提高。
结论
实验结果表明，ChatGPT和GPT-4在LogiQA、ReClor等主流逻辑推理基准上优于RoBERTa，但在分布外数据集上性能显著下降。这揭示了当前大模型在处理新颖、陌生数据时的泛化瓶颈，逻辑推理能力的全面落地仍需进一步突破。