DeepSeek之后，StartLux再来：开源首个决策模型推理引擎，推理快至5.3倍

推理层将成为模型能力的胜负手。

作者 |  王涵

编辑 |  漠影

开源自研浪潮：决策模型专用引擎Prism问世

近期，大模型行业掀起一股开源自研推理引擎的浪潮。10月20日，DeepSeek正式开源生产环境实际使用的推理框架DeepInfer；紧随其后，10月22日，国内AI创业团队StartLux（原点星辉）也对外开源了其自研推理引擎Prism。

与DeepSeek服务于通用大模型的云端业务不同，Prism聚焦于近期迅速走红的“决策模型”赛道，是首款专门面向决策模型打造并对外开源的推理引擎。决策模型不同于生成式大模型，其在读取材料后直接输出判断结果（如是/否、风险等级等概率化结论），无需输出大段文本。

自今年9月Jev模型爆火以来，微软、AWS、Cloudflare等企业相继入局。在国内，成立不足五个月的StartLux已交出亮眼成绩：其新一代决策模型StartLux‑Decision-v1.1以69.1分登顶Hugging Face Decision Index 0.3.2榜单，在173个公开可复现模型中排名第一。截至目前，该模型累计下载量超18万，API累计响应全球超300万次决策请求。

四大创新破解推理效率难题

此前，StartLux-Decision-v1.1运行在基于vLLM 0.31的通用推理框架上。然而，vLLM等主流框架原生面向逐token生成的文本场景，并不适配决策模型，导致模型能力难以充分释放。Prism通过重写推理引擎，针对决策模型需求进行了四项关键优化：

优化一：收敛输出计算范围

以27B参数量的StartLux‑Decision模型为例，其输出层包含12.7亿权重。通用引擎需对24.8万个候选词做完整打分，但决策任务通常仅使用A-Z共26个字母作为输出选项。Prism将输出层计算范围压缩至原先的0.01%，跳过大量无关候选词的计算，仅保留必要的判断结果阶段计算。

优化二：“森林式”计算结构

针对同一份材料对应多项判断需求的业务场景（如同时判定工单归属、回复时效、故障等级），传统框架需重复处理材料。Prism创新性构建“森林式”计算结构：将通用指令作为树根，共用参考材料作为树干，独立问题作为分支。树根与树干计算仅执行一次，不同问题仅处理新增部分，且支持多轮追问复用已有计算结果。

优化三：采用整数运算消除漂移

决策模型输出的概率值直接指导业务执行，对稳定性要求极高。为解决结果漂移问题，Prism采用整数运算：相关矩阵运算使用int8精度，累加使用int32精度。由于整数加法不受计算顺序影响，计算结果不会受批大小、调度顺序干扰，确保了输出的一致性。

优化四：混排调度机制

StartLux‑Decision-v1.1支持AutoThink自动思考模式，模型会根据把握程度选择直接输出或生成长达4096 token的思考过程。为避免短请求被长耗时请求阻塞，Prism设计了混合调度机制：思考类任务预处理后，解码步骤预编译为CUDA图，最多支持64条思考任务与直接输出任务分时占用显卡资源。新接入的简单请求最多等待1‑2个解码步骤即可插队执行。

实测性能：最高提速5.3倍，均速仅41毫秒

注：以下数据来自StartLux在不同模型版本及测试条件下的实测结果。其中，5.3倍加速测试使用StartLux-Decision-v1.1-27B AutoThink模型；231题跨引擎性能对比及吞吐量测试使用StartLux-Decision-v1-27B模型。具体测试配置与结果均已在GitHub公开。

单请求延迟显著降低

测试显示，单道短问题场景下，Prism耗时19毫秒，原方案为53.1毫秒，提速2.8倍。针对同一份材料连续处理三道问题，Prism仅需17.4毫秒，原方案需92.9毫秒，提速幅度达5.3倍。若开启思考模式，Prism耗时785毫秒（原方案1296毫秒），提速1.7倍。面对8192 token长问题，二者性能差距收窄至1.2倍。

在视频理解测试中，StartLux-Prism的速度比vLLM快3.38倍，且输出概率基本一致。

跨引擎对比排名第一

在JevBench测试集（231道题目）横向对标中，Prism与vLLM、SGLang、llama.cpp等主流开源框架对比，单题平均延迟41毫秒，位居第一。紧随其后的decider编译版为66.8毫秒，SGLang为75.6毫秒，vLLM为112.7毫秒，llama.cpp耗时最长（589毫秒）。在同等8位精度条件下，Prism延迟比次快框架低约40%。

典型负载下吞吐量领先2.6倍

在64路并发满载测试中，因硬件算力瓶颈，Prism相对竞品优势收窄至17%-22%。但在企业更常见的高频小型请求日常负载下，Prism每秒可处理100道请求，表现最优的竞品为每秒38道，Prism领先2.6倍。这一优势恰好落在真实高频业务区间，体现了专用引擎的核心价值。

灵活适配多卡部署

Prism支持数据并行与张量并行及其组合模式。以27B模型为例，四张H200采用数据并行模式时，合计每秒可处理121个请求，约为单卡的3.92倍；若采用张量并行合力计算同一道题，单题延迟可从41毫秒降至29毫秒。两组双卡混合部署则可兼顾吞吐与延迟，实现每秒86道请求、单题36毫秒的表现，且输出结果与单卡逐位一致。

精度无损，部署门槛低

在覆盖七个评测集、12351个样本的测试中，Prism int8版本平均准确率为92.94%，与未量化BF16原版（92.97%）差距仅0.03个百分点，甚至略优于原引擎FP8量化版本（92.83%）。

部署方面，16.55GB的压缩版本可在单块32GB显存的RTX 5090消费级显卡上运行，效果对标专业级H200。在此配置下，Prism比llama.cpp快3.9倍。

行业转向：推理工程成为竞争壁垒

DeepSeek与StartLux在短时间内先后开源自研推理系统，折射出大模型行业的共同转向：模型能力比拼之外，推理工程的重要性快速抬升。一旦模型嵌入业务核心，调用延迟、算力开销直接关乎成本与商业化空间。

通用推理框架因需适配多种模型和场景，必然在专用性上妥协。只有模型厂商自身最清楚接口特性与优化空间。StartLux不仅开源代码，更同步输出底层方法论与配套工具链：此前公开了RLCD²强化学习训练算法，填补了决策模型训练方法空白；推出DecisionPivot评测基准，补齐了行业评测标准缺口。

此次Prism的开源，将决策模型推理工程的核心设计思路完整开放，把内部能力转化为行业可复用的公共基础设施。这种“模型+方法+工具”的开放模式，直接降低了全行业的试错成本，让开发者能聚焦于上层场景创新。

结语：决策模型竞争的核心在推理层

将决策模型应用于风控、审核、工单路由等真实业务，仅靠高性能模型远远不够。Prism的本质是针对决策模型重新核算整套推理计算逻辑。当输出从长篇文本转变为概率判断，过去文本生成时代的默认假设均需重新审视。

未来，随着模型架构差距缩小，推理工程层面的壁垒将愈发显著，且无法通过简单增加参数量弥补。决策模型赛道的竞争核心将更加突出，谁能跑得更远、做得更深，取决于其在推理工程上的深耕程度。