7月，天旦推出了一款备受瞩目的OpsGPT运维大语言模型，它融合了深入的推理能力和专业知识补足，引起了广泛的关注。几个月过去了，OpsGPT的性能、创新和应用潜力等进展如何？就人工智能产品化的进展，天旦奔流专栏Flows采访了天旦CEO，Vader。以下为专访实录。
Flows：天旦OpsGPT发布已有3个月，大家都非常期待它将如何应用于实际的运维场景中，是否可以提前透露一下新产品？
Vader：目前，我们正在紧锣密鼓地准备推出一款内置OpsGPT大语言模型的新一代智能诊断分析系统，名为“天旦庙算42”。同时，我们还计划发布一款数据湖仓系统，名为“天旦纵横”，来满足人工智能诊断分析对高性能数据查询的超高需求。
Flows：很多企业在宣传基于大语言模型的产品时，实质上只是对开源模型进行了轻度定制。天旦的模型运用了多少原创技术？是否能具体介绍一下模型规模、参数等？
Vader：模型规模的确是一个重要的参数，但在我看来更重要的应当是如何将模型应用到实际场景中。天旦OpsGPT采用了多个模型的组合，其中核心因果推理引擎使用了超过300亿参数的模型并结合了多模态和领域知识专家模型。这种组合实现了千亿级别参数的大语言模型可以获得的计算效能，以最大程度地发挥客户的投资价值，平衡硬件资源和性能，实现最大的实际效益。
Flows：“天旦庙算42”将如何带来实质性的改变，特别是在运维诊断方面？
Vader：我们可以通过一个客户的案例来看。一位客户在处理手机支付应用问题时，上传了一段数据包给网络部门，要求协助排查。“庙算42”系统中的SharkAI应用通过自动诊断快速发现，问题源于特定请求导致的长时间缓慢访问。这种快速而精确的诊断就是一个典型的例子。这里有一段简短的视频。
Flows：天旦的模型训练数据集是如何构建的？这些数据集是自建的还是公开的？
Vader：除了diags等诊断经验数据集、cert数据集和一些高质量的文档之外，我们还自主构建了一个非常新颖的因果推理数据集“reasoning42”。数据集在大语言模型领域至关重要，包括：数据定义、辅助标记方法、数据分布策略和混合比例等，这些因素会对模型的结果产生显著影响。此外，对回答结果的评估集合也非常重要。我们认为，它们是实现高级别人工智能的关键能力，因此这些数据集都是天旦坚决投资自建的。
Flows：天旦的模型是用什么样的数据训练的？部署在企业后，能否应用起更多企业内部知识？产品升级以后，是否可以继承这些知识？
Vader：为了实现核心的技术功能，我们花费了巨大的人力财力去构建我们的数据体系和数据内容。部署在企业后，大语言模型可以结合知识图谱和矢量化等技术集成更多企业内部数据。但为了简化这些复杂的技术知识，我们实现了模型虚拟表（Model Abstract Table）来抽象这些矢量化的概念。用户只需要设置特定的知识内容，“天旦庙算42”自身会根据实际需要进行矢量化或者微调，让模型具备更多内部知识。同时，这种模型虚拟表技术可以在模型升级后仍然根据用户的决定是否自动继承过去的知识能力。
Flows：新产品中有哪些设计元素是业界尚未涉足或具有显著优势的？
Vader：在大语言模型应用中已经出现许多设计模式，如嵌入式的助手co-pilot模式、实时文档编辑写作co-edit、实时任务组件co-task等。我们创建了一种不同于传统对话交互模式的协作诊断模式（co-diag）以及生产级应用生成机制（mGen）。我认为，co-pilot代表的对话交互模式并不能完全代表企业级应用要求的准确、可解释以及高性能/可靠性。因此，在我们的产品设计中非常强调帮助用户解决问题的交互体验。因为可解释性是这个领域的圣杯，可解释/可理解的通用人工智能会是安全的人工智能的重要前提，也是未来AGI实现过程中必经之路。
Flows：从您的角度来看，大语言模型领域当前最大的未解决问题是什么？
Vader：当前，大语言模型领域仍然面临许多未解决的问题，尤其在企业级场景中。
首先是模型解释性和可靠性，当前的大语言模型通常是“黑盒”模型，缺乏透明度和可解释性。人们无法预知也无法判断模型产生结果的真实性、确定性和产生原因，这限制了人们对模型结果的信任和应用。同时，模型本身存在幻觉等现象导致会经常产生似是而非的陈述，这对于许多应用场景产生了可靠性的担忧。
另一个重要问题是多模态技术仍处于早期阶段，对于运维场景中的拓扑图理解、流程图解析等应用具有挑战性。数据的安全性也是一个关键问题，我们需要确保模型不包含用户的敏感信息，同时避免模型的结果导致不良后果。
最后，计算资源也是一个挑战。因为科技禁运等因素给我们带来了技术上的挑战，要求我们比其他国家的开发者更善于把握较少硬件资源下的人工智能实现。
Flows：天旦大语言模型产品除了运维诊断外，还具有哪些其他功能或应用场景？
Vader：“天旦庙算42”不仅用于运维诊断，还提供了一个大语言模型的快速开发工具，帮助运维人员轻松开发自己的大语言模型应用。通过输入指令，OpsGPT就会给出应用生成的建议，帮助用户在几分钟内完成一个应用工具的开发，如：培训生成器、配置分析工具等都可以快速定义和生成。这些工具都可以原生利用起OpsGPT的模型能力，并且具备高性能的推理速度，可以提供给自己和其他同事使用。
Flows：我注意到您还提到了“天旦纵横”这个产品，它有什么功能？
Vader：我们发现，现有的运维数据平台难以满足人工智能对查询性能的高需求，因此，我们研发了“天旦纵横湖仓一体系统”。这个系统旨在平衡运维数据的高度灵活存储和高性能查询之间的挑战。它以数据湖的形式存储非结构化数据，并通过数据仓库接口提供结构化查询，从而显著简化了数据维护的复杂性。同时，“天旦纵横”提供了卓越的查询性能和很高的数据压缩率，可以在仅需Elastic Search十分之一硬件资源的情况下，实现相当甚至更高的处理和查询能力。
考虑到企业内部使用湖仓的定义、设计和开发成本很高，我们把“天旦纵横”与“天旦庙算42”进行了整合。这使得“天旦纵横”能够充分利用OpsGPT强大的因果推理能力和mGen生产级应用生成机制，迅速创建可视化数据仓库应用。
Flows：这些产品何时发布？是否可以抢先体验？
Vader：我们目前正在进行产品测试和完善，相信很快就会正式交付。目前还提供早期测试参与计划，和我们的用户一起设计和验证。敬请关注我们的官方网站以获取更多信息。
