非营利组织人工智能安全中心(CAIS)与Scale AI联合发布前沿AI系统新基准“人类最后的考试”
该基准测试包含数千道众包问题,涵盖数学、人文学科及自然科学等领域。为提升评估难度,题目采用多种格式呈现,包括图表与图像结合的形式。
初步研究显示,目前尚无公开可用的旗舰级AI系统在该测试中得分超过10%。
CAIS与Scale AI计划向研究界开放此基准,助力研究人员深入探究模型差异并评估新一代AI系统。
海外洞察非营利组织人工智能安全中心(CAIS)与Scale AI联合发布前沿AI系统新基准“人类最后的考试”
该基准测试包含数千道众包问题,涵盖数学、人文学科及自然科学等领域。为提升评估难度,题目采用多种格式呈现,包括图表与图像结合的形式。
初步研究显示,目前尚无公开可用的旗舰级AI系统在该测试中得分超过10%。
CAIS与Scale AI计划向研究界开放此基准,助力研究人员深入探究模型差异并评估新一代AI系统。