AI可能在编程或生成播客等任务上表现出色，但新论文发现，其在通过高级历史考试方面仍存在困难。
基准测试显示LLM历史准确率仅约46%
一个研究团队创建了名为Hist-LLM的新基准测试，依据Seshat全球历史数据库评估OpenAI GPT-4、Meta Llama和Google Gemini三大顶级大型语言模型（LLM）在历史问题上的表现。该结果在上个月备受瞩目的人工智能会议NeurIPS上公布。
据奥地利复杂性科学中心（CSH）研究人员表示，表现最好的GPT-4 Turbo准确率仅为约46%，与随机猜测相差无几。
“尽管LLM令人印象深刻，但在高级历史理解方面仍缺乏深度。它们擅长处理基本事实，但在涉及更细微、博士级水平的历史探究时，尚未胜任。”论文合著者之一、伦敦大学学院计算机科学副教授Maria del Rio-Chanona表示。
为何LLM难答技术性历史问题？
研究人员向TechCrunch分享了LLM答错的示例：当被问及古埃及特定时期是否存在鳞甲时，GPT-4 Turbo错误回答“是”，实际上该技术直到1,500年后才出现。
Del Rio-Chanona解释称，这可能是因为LLM倾向于从显著的历史数据进行推断，难以检索冷门知识。例如，关于其他古代帝国拥有常备军的公开信息较多，导致模型在面对古埃及是否拥有职业常备军的问题时，错误地给出了肯定答案。
“如果你被告知A和B发生了100次，而C只发生了1次，然后被问到关于C的问题，你可能只会记住A和B并据此进行推断。”del Rio-Chanona说。
数据偏见与未来展望
研究还发现，OpenAI和Llama模型在撒哈拉以南非洲等地区的表现较差，表明训练数据可能存在偏见。CSH教员Peter Turchin指出，结果显示在某些领域LLM仍无法替代人类。
尽管如此，研究人员对未来仍抱有希望，正通过纳入更多代表性不足地区的数据及增加复杂问题来完善基准测试。“总体而言，虽然我们的结果突出了LLM需要改进的领域，但也强调了这些模型在辅助历史研究方面的潜力。”论文写道。