大数跨境

【AI加油站】第二百四十二部:把大模型塞进词典笔?深度解读《程桥:LLM技术在有道词典笔上的应用实践》(附下载)

【AI加油站】第二百四十二部:把大模型塞进词典笔?深度解读《程桥:LLM技术在有道词典笔上的应用实践》(附下载) 人工智能产业链union
2026-11-15
0
导读:【AI加油站】第二百四十二部:把大模型塞进词典笔?深度解读《程桥:LLM技术在有道词典笔上的应用实践》(附下载)

核心总结

导读:在AI浪潮席卷全球的今天,如何将动辄几十上百G的大模型部署至仅有1G内存的词典笔中?网易有道研发总监程桥在《LLM技术在有道词典笔上的应用实践》中,揭示了端侧AI落地的技术路径。从云侧到端侧,通过蒸馏量化与自研推理框架,实现了“小设备”承载“大模型”的技术突破。

趋势洞察:端侧AI成为教育硬件必然选择

随着通用大模型的普及,云侧AI虽算力强大,但面临网络依赖、隐私泄露及高延迟等痛点。对于教育智能硬件而言,学生在无网或弱网环境下仍需极速、准确且保护隐私的AI辅导服务,这催生了端侧AI的发展需求。

依据“密度定律”,模型正朝着更小、更密的方向演进。2024年教育智能硬件市场规模已破千亿,在AI手机、AI PC、智能穿戴及教育硬件四大场景中,具备低延迟、高可靠、不依赖网络特性的端侧AI已成为行业发展的必然趋势。

技术挑战:端侧部署的“不可能三角”

端侧AI落地面临严峻的资源限制。对比数据显示:

  • 云侧(4090 GPU):FP32算力82.6 TFLOPs,内存24GB。
  • 端侧(RK3562芯片):CPU算力仅0.057 TFLOPs,NPU算力11 GOPS(int8),内存极小。

算力弱、内存小、功耗与成本限制构成主要障碍。以有道词典笔为例,可用内存仅1G0.5B(5亿参数)级别。初期0.5B模型在数学、自然语言理解等方面表现甚至不及传统神经机器翻译(NMT模型)。

对此,网易有道依托“子曰”大模型,通过算法优化与工程创新相结合的策略打破僵局。

解决方案算法与工程的双重优化

算法侧四大优化策略

  1. 知识蒸馏:利用云端高级大模型作为“教师”,通过海量数据采样及正反向COMET校验,对端侧0.5B模型进行蒸馏。经6000万规模数据集训练,显著提升小模型能力,其翻译性能超越传统在线NMT模型。
  2. 词表裁剪基于双语语料统计,将模型词表从151,645精简至108,967,精准减少43M参数,去除冗余生僻字。
  3. DPO直接偏好优化:针对Bad Case构造偏好数据,优化模型生成结果,使其更符合人类预期。
  4. AWQ量化:将模型精度从FP16压缩至INT4(W4A16),并通过激活值识别1%显著权重,在保证质量的同时大幅降低显存占用。

推理侧自研框架性能突破

为解决开源框架性能不足的问题(如llama.cpp解码速度仅6.3 token/s,远低于上线目标10 token/s),有道团队自研离线LLM服务并进行底层优化:

  • SIMD指令优化:利用ARM-NEON广播特性,减少内存读取次数。
  • 矩阵乘法优化:将累加类型从INT32调整为INT16实现1.5倍填充性能提升。
  • 权重分块重排:进一步挖掘硬件潜力。

最终成果显示,自研框架填充速度达33 token/s(提升64%)解码速度达10.6 token/s(提升68%)内存峰值降至288MB(下降23%),全面超越开源方案,达到行业领先水平。

落地成效离线大模型赋能词典笔

目前,该技术已成功应用于有道词典笔X7及X7 Pro,成为业界首款搭载离线大模型的词典笔产品,支持中英互译及文言文翻译优化等多任务处理。

人工评测表明,离线LLM在整体表现、段落处理能力及干净日志场景下均优于离线NMT,尤其在段落语境理解方面优势显著,译文更加自然流畅,摆脱了传统机器翻译的生硬感。

行业贡献“子曰3数学模型”正式开源

除端侧部署成果外,网易有道宣布“子曰3数学模型”正式开源,其主要特点如下:

  • 在GAOKAO-Bench(Math)高考数学评测中得分高达98.5分。
  • 各项指标全面超越DeepSeek-R1等通用大模型。
  • 推理性能约为DeepSeek R1的15倍,可在消费级GPU上运行。
  • 服务成本极低,每百万Token低至0.15美元。

该模型的开源证明了低成本构建特定领域强推理模型的可行性,大幅降低了教育机构及开发者部署专业数学AI的门槛。

结语技术普惠推动教育升级

大模型正逐渐成为数字时代的基础设施。有道词典笔通过端侧大模型的赋能,满足了用户更深层次的学习与自我成长需求。以前沿技术打造普惠教育产品,是此次技术实践带来的核心启示。

【声明】内容源于网络
0
0
人工智能产业链union
人工智能产业链联盟,旨在汇聚全球人工智能领域的创新力量,共同推动人工智能技术的研发、应用与产业化。联盟以基础技术、人工智能技术及人工智能应用为核心,打造了一个完整、高效、协同的人工智能生态链。
内容 3438
粉丝 1
人工智能产业链union 人工智能产业链联盟,旨在汇聚全球人工智能领域的创新力量,共同推动人工智能技术的研发、应用与产业化。联盟以基础技术、人工智能技术及人工智能应用为核心,打造了一个完整、高效、协同的人工智能生态链。
总阅读213.6k
粉丝1
内容3.4k