人工智能促进会发布《AI研究的未来》报告，指出推理作为人类智能核心特征，是AI从已知推导新知的关键。当前AI研究已催生SAT、SMT、约束求解器及概率图模型等自动推理技术，广泛应用于现实场景。尽管大型预训练模型（LLMs）在推理能力上进展显著，但在自主代理应用中，仍需深入研究以确保其推理的正确性与深度。
提升AI事实性与可信度
事实性是AI系统避免输出虚假陈述的基础，基于神经网络的大语言模型的事实性改进是当前行业研究重点。可信度则进一步涵盖可理解性、鲁棒性及价值观对齐，缺乏可信度仍是AI在关键领域部署的主要障碍。
目前提升AI事实性与可信度的主要路径包括：微调、检索增强生成（RAG）、机器输出验证，以及采用简单易懂的模型替代复杂模型。
多代理系统与协作AI演进
多代理系统正从基于规则的自主性向协作AI转型，强调协作、谈判与伦理对齐。LLM驱动的代理AI虽为灵活决策带来新机遇，但也面临效率与复杂性挑战。将协作AI与生成模型集成，需在多代理环境中平衡适应性、透明性与计算可行性。
评估体系与安全伦理挑战
AI系统的独特性使其评估超出传统软件验证范畴，亟需新方法以保障大规模部署的可信度。随着AI快速发展，伦理与安全风险日益紧迫且相互关联，现有技术与监管机制尚显不足。
面对新兴威胁与技术伦理影响，行业需加强跨学科合作、持续监督，并明确AI开发责任，以应对不断演变的安全挑战。