大数跨境

AI智能体是否已准备好投入职场?一项新基准测试引发质疑

AI智能体是否已准备好投入职场?一项新基准测试引发质疑 海外洞察
2026-01-22
2
导读:最新研究考察了主流人工智能模型在从事来自咨询、投资银行和法律行业的实际白领工作任务时的表现。大多数模型未能达标。

微软首席执行官萨提亚·纳德拉(Satya Nadella)预测,人工智能将取代由律师、投行家、会计师等从事的知识型白领工作。尽管基础模型在深度研究和代理规划上取得进展,但此类工作的变革迟迟未至。

训练数据巨头Mercor的新研究为此提供了答案。该研究考察了领先AI模型在执行咨询、投行和法律领域任务时的表现,并推出新基准测试APEX-Agents。结果显示,所有实验室均未及格;面对真实专业查询,最佳模型答对率也不足25%,多数返回错误或无答案。

Mercor首席执行官布伦丹·富迪(Brendan Foody)指出,模型最大障碍在于跨领域信息追踪,而这正是知识型工作的核心。他表示:“我们构建了模拟真实专业服务场景的环境。现实中需在Slack、Google Drive等多工具间操作,而非依赖单一背景输入。”目前,许多代理式AI模型的跨域推理能力仍不稳定。

截图

测试场景源自Mercor专家市场的真实专业人士,问题已公开于Hugging Face。以法律题为例:“欧盟生产环境中断前48分钟内,Northstar工程团队将含个人数据的日志导出至美国供应商……依据其自身政策,能否视为符合《第49条》?”

正确答案为“是”,但这需深入评估公司政策及欧盟隐私法。若大语言模型能可靠回答此类问题,便可能有效替代律师。Foody强调:“该基准真实反映了专业人士的实际工作,可能是经济领域最重要的话题。”

与OpenAI涵盖广泛职业一般知识的GDPval基准不同,APEX-Agents衡量的是系统在高价值狭窄职业中执行持续任务的能力。这对模型更难,但也更紧密关联自动化可行性。

目前尚无模型准备好接管投行工作,但部分已接近目标。Gemini 3 Flash以24%的一次性准确率居首,GPT-5.2为23%;Opus 4.5、Gemini 3 Pro和GPT-5得分均约18%。

尽管结果未达预期,但AI领域常有突破挑战基准的先例。随着APEX-Agents公开,各实验室将面临新挑战。Foody预计未来数月会有显著进步:“它正快速进化,从一年前‘十次对一次’变为如今‘四次对一次’,这种持续改进将产生迅速影响。”

【声明】内容源于网络
0
0
海外洞察
海外资讯洞察,电商,AI
内容 14232
粉丝 0
海外洞察 海外资讯洞察,电商,AI
总阅读3.2k
粉丝0
内容14.2k