9 月 3 日,工信部中国信息通信研究院(以下简称“中国信通院”)人工智能研究所公布了最新的可信 AI 大模型基准测试(MCP 专项)报告。测试结果令人瞩目:一家新创公司推出的 27B 参数模型,在综合性能上位列第二,并在多项智能体任务中斩获第一。
小模型挑战万亿参数:StartLux 表现亮眼
本次测试的主角是 StartLux-V1.0-27B-Preview。该模型综合得分为 39.25%,在 693 个任务中成功完成 272 个。其前方仅有一位“巨人”——DeepSeek-V4-Pro,后者得分 40.55%(完成 281 个任务),两者差距仅为 1.30 个百分点。
值得注意的是参数量级的巨大差异:DeepSeek-V4-Pro 参数量高达 1.6 万亿,而 StartLux 仅为 270 亿,相差约六十倍,但性能分数却相差无几。
测试维度与评分标准
MCP 专项测试涵盖位置导航、网页搜索、浏览器自动化、金融分析、代码仓库管理及 3D 设计六大类任务,共计 693 项,接入 11 个真实 MCPServer。评分标准务实严谨:仅以任务完成度计分,过程漂亮但结果错误不得分。测试由信通院执行,自 8 月 3 日起跑满三轮取平均值。
优势领域与短板分析
优势方面:StartLux 在位置导航任务中以 33.33% 的准确率排名第一;金融分析任务中,Pass@1 指标与万亿参数模型并列,Pass@3 指标独占鳌头;浏览器自动化三项指标持平,3D 设计稳定性亦居首位。
不足之处:在代码仓库管理任务中,其准确率为 17.17%,低于万亿模型的 27.27%;网页搜索任务得分为 42.42%,不及 284B 参数的 DeepSeek-V4-Flash-0731。榜单显示,尚无模型能在所有项目中通吃。
实战对比:效率与精度的较量
通过两个具体案例,可直观看出 StartLux 与主流大模型的差异。
案例一:金融数据计算
任务要求计算 2023 年 1 月 9 日买入并持有至 2025 年 1 月 8 日的微软股票收益。Claude Sonnet 4.6 给出结果为 47254 美元(收益率 89.02%),其逻辑是在原始数据缺失时直接将截止日视为非交易日,使用前一日收盘价结算。而 StartLux 给出的结果为 47499.09 美元(收益率 90.00%),其优势在于先回查历史数据,验证目标日期附近的行情确认无误后才进行计算。在金融领域,这种严谨性至关重要。
案例二:复杂航班搜索
任务要求在 Google Flights 查找 5 天后从新加坡飞北京的最便宜直飞经济舱(排除大兴机场)。StartLux 耗时约 95 秒,经过 12 步操作,精准报出 299 美元的国航机票。相比之下,Claude Sonnet 4.6 在日期选择、弹窗关闭及筛选菜单间反复截图确认,甚至误触时间筛选面板,耗时两百多秒、经历 21 步后,报出 556 美元的结果。StartLux 不仅价格便宜近一倍,耗时也仅为对方的一半。
技术路径:后训练与本地化策略
StartLux 并非从零训练,而是基于 Qwen3.6-27B 基座模型。在参数量相同的情况下,其性能比基座高出 5.34 个百分点,这主要归功于高质量的后训练。
研发团队重点注入了任务理解、工具选择、参数构造、多步执行、状态检查及结果验证等数据,旨在教会模型“如何干活”:何时调用工具、异常如何处理、任务何时终结。训练过程采用"AI 训练 AI"的模式,让模型在真实工具环境中自主运行任务并根据反馈调整策略。官方宣称,这是国内首个采用该方法完成后训练的本地 Agent 模型。
背后团队:陈大年与“原点星辉”
StartLux 的幕后推手是上海原点星辉,其 CEO 为互联网资深创业者陈大年。
陈大年生于 1978 年,1996 年自学编程,1998 年开发出中国首款上网计费软件 ENCounter,并率先将“共享软件”概念引入中国。1999 年,他与兄长陈天桥创办盛大网络;2008 年设立盛大创新院,孵化出 UCloud、七牛云等项目;2013 年创立连尚网络,推出用户过 9 亿的"WiFi 万能钥匙”。
曾因高强度工作导致健康危机后,陈大年调整管理理念,并于 2017 年后退居幕后。此次回归,他选择了本地模型赛道。他认为,正如当年软件被锁在付费墙后,如今算力被锁在数据中心。本地模型的战略意义在于打破门槛,将模型部署于用户终端,使数据留存本地,将长期成本从按 Token 付费转变为一台机器的电费。
陈大年指出,Scaling Law 只是 AI 发展路上的“过路神仙”,而非终极答案。他认同 CTO 郭权玮的理念:用小数据打造聪明的基座,再通过类似“九年义务教育”的后训练使其具备专业能力。
未来展望:从榜单到产品
榜单第二并不等同于产品成熟。目前 StartLux-V1.0-27B-Preview 仍处于预览阶段。公司计划年内推出第一代本地智能解决方案,目标是实现像安装 Office 一样的一键部署,让用户无需关心量化和显存配置。从测试成绩到实际用户体验,仍有距离需要跨越。

