京东正式发布开源AI推理引擎xLLM,该引擎基于国产芯片构建。其采用动态调度器优先处理请求,并通过灵活架构优化计算资源分配。
xLLM专为复杂多模态应用设计,内置多级流水线执行引擎及计算优化工具。目前,该引擎已应用于京东零售业务的AI助手、客户服务及供应链运营等场景。
据京东披露,xLLM使系统效率提升超5倍,机器成本降低90%,但相关数据尚待独立验证。