在京东，一位工程师的“温度”之旅

他们是从校园走出的“后浪”，在京东技术体系中快速成长。在这里，他们有机会主导从0到1的创新，也有责任守护关键项目的稳定。在实战中磨练，他们用智慧与汗水，成为技术创新的生力军。此刻，京东的技术后浪们正澎湃向前，驱动未来。

（谢东拍摄）

今年是我在京东的第五年，此刻回望入职那天的情景，依然清晰如昨——2019年初秋，中国人工智能发展正从实验室探索加速转向产业应用。作为一名刚踏出校门的硕士生，我被这股技术发展的浪潮推向了前沿，心里既有些忐忑，又充满期待：“这可是研究院成立第一年，让我赶上了。”

探索研究院有从海外顶尖实验室归来的学者，带来国际前沿的学术视野；也有在产业界深耕多年的专家，积累了丰富的实战经验。他们探讨的计算机视觉、自然语言处理、AIGC 等前沿领域，在我这个初出茅庐的算法工程师听来，确实有些吃力——那一刻，我仿佛一个刚入门的新手，需要努力消化每一个专业术语。

（生活中的谢东）

没有自我怀疑，很快我就找到了自己的定位：成为研究员们的“工程管家”。我的核心任务是搭建一个名为 OmniForce（元聚力）的 AutoML（自动化机器学习）的平台。这个平台就像一座智能化的“积木工厂”：算法专家设计出模型架构，我则负责将它们转化为标准化的算法组件，再组装成能够稳定运行的系统。这些系统最终将形成人机协作、持续优化的良性循环。

我印象最深的是与算法专家李嘉（化名）的一次深夜讨论。为了一个模型接口的标准化问题，我们反复争论了三轮方案。他从理论完备性出发，我则更关注工程稳定性。最终我们找到了一个平衡点，既保留了算法的核心创新，又确保了系统的稳定运行。这种跨角色的协作，成为我们工作的常态。

那时我未曾想到，这些由我们共同打磨的算法组件，后来会应用于一个能识别河北农民方言的智能助农系统。当看到一位果农用乡音与手机顺畅交流时，我深刻体会到，“让技术服务于人”是每一次代码提交时最根本的考量。更让我们整个团队欣慰的是，这些工程实践最终凝结成了一篇发表在 Nature 子刊上的论文，系统阐述了“以人为本、大模型驱动、云边协同”的 AI 系统设计理念。这是集体智慧的结晶，从算法创新到工程实现，每个环节的密切协作让理论创新扎根于坚实的实践土壤。

（ Nature 子刊）

2023年，ChatGPT 的出现推动了行业新一轮发展。研究院的战略重点转向京东大模型——言犀（后升级为 JoyAI ），我的工作也从平台搭建转向大模型推理加速。

这个转变充满挑战。过去，我主要依照明确的需求进行开发；现在，我需要自主定义问题并设计解决方案。第一次看到自己设计的加速模块在压力测试中未达预期，那种从执行者到负责人的身份转变带来的压力，远比单纯的技术难题更让人印象深刻。

转机来自一次与同学的交流，当我用较长时间解释一个技术问题时，对方善意提醒：“能不能三句话说清楚？”这个瞬间让我想到：我们的大模型输出是否也存在类似问题？能否让表达更加精炼？

受此启发，我们组成了跨职能攻关小组。算法研究员负责保证准确性，工程团队专注效率优化，产品同事则从用户体验角度提供反馈。通过输出压缩等技术创新，我们不仅提升了推理效率，还让模型能够处理更长的文本——比如在较短时间内解析《一句顶一万句》这样的长篇小说，并准确提炼其复杂的人物关系。这是我主导完成的第一个重要优化，它让我确信：好的技术创意，往往源于对使用场景的细致观察。

（世界人工智能大会上，JoyAI和大家见面）

在2025年世界人工智能大会上，JoyAI 正式亮相。通过持续的优化迭代，这个系统正在不断进步。

JoyAI 最新推出的750B模型，达万亿级参数规模，性能比肩行业一流大模型水平。在推理性能上，通过“量化+投机+稀疏”的技术，JoyAI 将模型的吞吐能力提升5倍，TPOT 最高能达到5ms，并实现轻巧部署，通过 4-bit 混合精度量化，让模型即使瘦身45%，仍可达到满血版的推理性能。JoyAI750B大模型在推理数据集 Rbench 上多项评测领先，JoyAI1.0 英文评测国内第一，中英文综合国内第二。

（2025京东全球科技探索者大会）

JoyAI 大模型推理加速技术 Q-EPLB ，支持产业低成本落地。在推理层面，JoyAI 大模型采用稀疏 MOE 训推一体架构，自研 Q-EPLB 加速机制通过混合精度量化与通信优化，使推理速度与传统方法相比提升了 1.8 倍，单卡吞吐量达 3000 tokens/秒，在保障精度的同时显著降低部署成本。

如今，我日常关注的“毫秒级延迟”与“模型吞吐量”，最终体现为用户屏幕上准确的配送时间预估，或是AI客服恰当得体的应答。

这种感觉格外踏实——因为我亲眼见证，那些抽象的技术指标转化为具体可信的服务体验，在真实生活中创造价值。