OpenAI正在资助学术研究，旨在开发能够预测人类道德判断的算法。
在向美国国税局（IRS）提交的文件中，OpenAI的非营利组织OpenAI Inc.披露，它向杜克大学研究人员提供了一笔赠款，用于开展名为“研究AI道德”的项目。经联系寻求评论时，OpenAI的一位发言人指向了一份新闻稿，指出该奖项是更大规模赠款的一部分。这是一项为期三年、价值100万美元的赠款，用于支持杜克大学教授研究“制造具有道德感的AI”。
关于OpenAI资助的这项“道德”研究，公开信息寥寥无几，仅知该项目将于2025年结束。该研究的主要调查员、杜克大学实用伦理学教授Walter Sinnott-Armstrong通过电子邮件告诉TechCrunch，他“无法谈论”这项工作。
Sinnott-Armstrong与项目联合调查员Jana Borg已发表多项研究以及一本书籍，探讨AI作为“道德GPS”帮助人类做出更好判断的潜力。作为更大团队的一员，他们创建了一种“道德对齐”算法，以帮助决定谁将获得肾脏捐赠，并研究了在哪些情况下人们更倾向于让AI做出道德决策。
根据新闻稿，OpenAI资助的工作目标是训练算法，以预测涉及医疗、法律和商业领域中“道德相关特征冲突”场景下的人类道德判断。
但目前尚不清楚，像道德这样微妙的概念是否在当今技术的能力范围内。
2021年，非营利组织艾伦人工智能研究所（Allen Institute for AI）开发了一款名为Ask Delphi的工具，旨在提供合乎伦理的建议。该工具对基本的道德困境判断得还算不错——例如，它“知道”考试作弊是错误的。但只需稍微改写和重新措辞问题，就足以让Delphi批准几乎任何事情，包括闷死婴儿。
原因与现代人工智能系统的工作原理有关。
机器学习模型本质上是统计机器。它们通过大量来自互联网的示例进行训练，学习这些示例中的模式以做出预测，例如，“to whom”通常出现在“it may concern”之前。
人工智能并不具备对伦理概念的欣赏能力，也不理解影响道德决策的推理和情感。这就是为什么人工智能倾向于复述西方、受过教育且工业化国家的价值观——因为互联网及由此构成的人工智能训练数据，主要由支持这些观点的文章主导。
毫不奇怪，许多人的价值观并未体现在人工智能给出的答案中，尤其是如果这些人没有通过在网络上发帖来贡献于人工智能的训练集。而且，人工智能内化了超出西方倾向的一系列偏见。例如，Delphi曾表示异性恋比同性恋更“在道德上可接受”。
OpenAI及其支持的研究人员面临的挑战因道德固有的主观性而变得更加棘手。哲学家们数千年来一直在争论各种伦理理论的优劣，但目前尚无普遍适用的框架可见。
Claude偏好康德主义（即关注绝对道德规则），而ChatGPT则略微偏向功利主义（优先考虑最大多数人的最大利益）。哪一方更优越？这取决于你问谁。
预测人类道德判断的算法必须将所有这些因素考虑在内。这是一个非常高的门槛——假设这样的算法首先就是可能的。