Open AI
人工智能（AI）已经深刻地改变了我们的生活，但与其无限潜力相伴随的是潜在的风险。OpenAI作为AI研究和开发的领导者，一直在努力确保这一技术的安全性和道德性。OpenAI发布一系列指引，旨在跟踪、评估、预测和防范AI模型带来“灾难性风险”，其规定，只有风险缓解后评级为“中”或以下级别的AI模型，才能部署，若风险缓解后评级不能降至“高”或以下，就会停止开发模型。OpenAI将新建一个团队反复评估其尚未发布的最先进模型处于何种风险级别，CEO等公司领导层可根据该团队的报告决定是否发布AI模型，董事会有权推翻他们的决定。
OpenAI美东时间12月18日周一发布一系列指引，旨在“跟踪、评估、预测和防范日益强大的（AI）模型带来灾难性风险”。OpenAI的所谓“灾难性风险”是指，“可能导致数千亿美元经济损失或导致多人严重伤害或死亡的任何风险”。
除了对公司领导层和董事会的权限规定，OpenAI的准备框架主要建议，使用矩阵方法，记录多个类别的前沿AI模型所带来的风险水平，包括行为不端者用AI模型创建恶意的软件、发起社会工程攻击，或者传播有害的核武或生物武器信息。
OpenAI定义了网络安全、CBRN（化学、生物、放射、核威胁）、说服和模型自主四个类别的风险阈值，在针对每个风险类别实施缓解风险措施之前和之后，OpenAI 都会将每种风险分为低、中、高或严重四个类级别。
OpenAI规定，只有风险缓解后评级为“中”或以下级别的AI模型，才能部署，只有风险缓解后评级为“高”或以下的模型，才能进一步开发，如果不能将风险降低到严重以下级别，公司将停止开发模型。对于缓解风险以前被评为高风险或严重风险的模型，OpenAI还将实施额外的安全措施。
OpenAI将处理安全问题的工作人员分为三个团队。其中，安全系统团队专注于减轻和解决GPT-4等当前的产品带来的风险，超对齐团队关注能力超越人类的未来系统带来的问题，还有一个名为准备的新团队，由将从麻省理工学院（MIT）离职的该校电气工程与计算机科学系（EECS）教授Aleksander Madry领导。
目前OpenAI已经采取了多项重要举措来预防AI灾难：
1.发布风险控制框架：OpenAI发布了全新的风险控制框架，将安全性置于AI系统开发的前沿。这个框架强调了在AI设计和训练的早期阶段考虑风险和负面影响的重要性。
2.加强透明度：OpenAI承诺提供更多关于其AI系统的信息，包括如何训练和运作的细节，以增加公众对AI技术的理解和信任。
3.外部审查和监督：OpenAI计划与社会利益相关者合作，进行外部审查和监督，以确保其AI系统的安全性和道德性。
4.道德研究和指导：OpenAI进行道德研究，以制定AI使用的道德准则和指导原则，确保AI系统的行为符合道德和社会价值观。
5.合作和知识共享：OpenAI强调与其他研究机构、政府和利益相关者的合作，共同应对AI的安全和风险问题。他们认为集思广益能够更有效地解决这些挑战。
反滥用控制：OpenAI致力于避免将其技术用于恶意目的，他们承诺在合适的情况下采取措施，以防止滥用AI技术。
