神小绘 | 点击上方蓝字，关注我们~
将训练好的模型投入实际应用，常面临多重挑战：
部署成本高昂：大模型推理需消耗大量显存与算力，硬件投入与运维成本压力大。
效率瓶颈突出：单次推理耗时久，响应慢，影响业务体验与迭代速度。
安全管控缺失：API调用若缺乏密钥管理与访问控制，极易导致数据泄露。
垂直领域适配难：通用模型在专业场景中表现不佳，需结合知识库与提示词进行定制，过程繁琐。
针对以上痛点，衍生智算系统大模型工具链的 “模型服务” 功能，提供了从发布、管理到集成的完整解决方案。
服务广场
“服务广场”集中展示所有已完成训练与调试的模型。支持按“名称、类型、分类”进行检索，模型处于运行状态即可直接调用。开发者可像使用应用商店一样，快速查找并启用所需模型，极大缩短从开发到应用的路径。
服务管理
在“服务管理”界面，可对模型进行便捷的全生命周期管理。灵活调整模型运行状态与公开范围；支持对模型进行编辑、删除等操作。实现对模型服务的集中、高效管控。
服务创建及配置
该模块包括服务创建与配置：
“服务创建”支持选用平台适配的英伟达、昇腾、寒武纪等国内外算力资源；
“配置”支持选择指定模型、管理模型访问的URL及密钥。
提供完整的API调用说明与参数文档，并配备API-KEY密钥管理体系，支持密钥的创建、更新、禁用与服务授权，确保接口调用的安全可控。
模型服务是AI落地的“最后一公里”，有了衍生智算系统的模型服务功能的加持，会使之推进地更顺畅高效。
