Google AI提出“策略外分类”（OPC）评估新方法
凭借人工智能技术，Google展现出预测机器学习模型最佳结果的能力。在最新博客文章中，Google AI研究团队提出了一种被称为“离线分类”（Offline Classification，简称OPC）的方法，用于评估人工智能性能。该方法的核心在于将评估过程转化为一个分类问题。
解决离线强化学习评估难题
团队表示，该方法可处理图像输入，并扩展至基于视觉的机器人抓取等任务。谷歌软件工程师Alex Irpan指出，离线强化学习虽为AI模型训练提供了支持，但缺乏有效的评估手段；且在需评估大量模型时，传统准确率评估往往显得不足。
OPC核心原理与Q-learning算法应用
针对上述痛点，OPC通过两个关键假设解决问题：一是假设当前任务和状态变化无随机性；二是假设智能体在尝试后仅有“成功”或“失败”两种结果。这种二元性质允许分配“有效”和“灾难”两个分类标签。
此外，OPC利用Q-learning算法预测行动的未来总奖励，代理选择预期最大奖励的行动，并以分类准确率作为离线评估分数来衡量性能。
模拟环境验证与未来研究方向
Google AI团队在模拟环境中利用离线强化学习训练机器学习策略，并使用真实世界数据获得的离线分数进行评估。在机器人抓取任务中，SoftOPC变体在预测最终成功率方面表现最佳。未来，研究人员旨在探索具有噪声和非二元动态特性的任务评估。