随着人工智能能力的不断跃升，新的研究难题也随之涌现。香港理工大学电子计算学系助理教授秦浩桐认为，AI领域并非陷入“无人区”枯竭的困境，而是“处处都是无人区”。当旧问题成为基础常识，新能力带来的新需求又暴露出模型的短板，这中间的巨大差距正是科研的价值所在。
秦浩桐长期专注于AI效率研究，特别是模型压缩与加速技术。他主张在有限资源下最大化保留模型能力，不仅关注存储和算力的节省，更重视速度对现实世界任务完成度的影响。以下是DeepTech与秦浩桐的深度对话。
坚持极限压缩：在质疑中寻找价值锚点
DeepTech：从读博前至今，你一直深耕模型压缩领域。最初的选择动机是什么？多年来吸引你持续投入的核心动力有哪些？
秦浩桐：起初是受企业招聘需求启发，发现行业对模型压缩有迫切需求。深入研究后我意识到，AI不仅要强，更要“用得起、等得起”。调用成本高低、响应速度快慢，是产业落地的关键痛点，而压缩技术直击这些问题。
此外，该领域的知识具备持续积累性。尽管上层应用迭代迅速，但底层计算逻辑相对稳定。从多层感知机到注意力机制，绝大多数模型仍依托矩阵运算及硬件架构。这种底层共性使得研究成果具有长远价值。
DeepTech：极限压缩往往伴随性能损失，面对“已不好用为何还要继续”的质疑，你如何看待？
秦浩桐：这类质疑贯穿了我的研究生涯。科研的价值往往在初期难以完全显现，直面质疑并攻克难题是必经之路。我为自己设定了实在的“锚点”：测算极限条件下的效率提升。例如，二值神经网络虽难恢复性能，但在资源受限场景下的加速优势明确。一旦确认其可用性的收益边界，努力的方向便清晰可见。
通过校企合作，我们看到技术未必能立即适配所有场景，但可先在刚需场景中落地产生价值。
DeepTech：既然目标是实用，高校团队为何不选择温和的压缩比例，而非要触碰极限？
秦浩桐：这与高校的科研定位有关。企业在大规模资源投入和工程迭代上更具优势，而高校的职责之一是探索价值尚未被充分认识的基础问题。极限压缩更贴近计算本质，有助于揭示深层规律。
透视“无人区”：新需求催生新课题
DeepTech：外界看来AI领域已十分拥挤，你认为还有哪些值得探索的“无人区”？
秦浩桐：判断是否存在“无人区”，不能仅盯着已有成果。更强的AI诞生后，新需求会不断涌现，进而暴露现有模型的短板。
以AI智能体为例，从简单的聊天解答到处理复杂数字任务，每当新需求出现，模型往往只是触碰到能力边界。要稳定、完整地满足这些需求，中间仍有长路要走，这会源源不断地产生新课题。反之，已解决的问题迅速转化为基础知识，容易被忽视，但新能力的挑战永无止境。
BiLLM研究：在极限中厘清问题边界
DeepTech：在ICML 2024发表的BiLLM研究中，你们将预训练大语言模型的平均权重位宽压至约1.08比特。项目启动时，核心目标是什么？
秦浩桐：当时我们关注两个问题：压缩后如何提升精度，以及在现有技术框架下模型能被压缩到的极致程度。BiLLM聚焦后者，尝试将预训练模型平均权重位宽压至接近1比特。
前提是直接处理现成模型（训练后量化），而非重新训练，因为后者在落地场景中成本过高。难点在于高精度权重直接压缩至极低状态会导致表征剧烈变化，输出质量严重下降。我们通过优化手段，使其在极低 bit 下仍能推理运行，保留部分语言能力。
这与大厂从训练阶段探索低位宽模型的路径不同，我们探索的是针对成品模型的极限压缩方案。
DeepTech：真实产品未必需要如此极端的压缩，你如何看待其中的取舍？
秦浩桐：工业落地优先保证性能，通常组合多种方案寻找精度与效率的平衡。但极限压缩的独特优势在于问题边界更易界定。取值状态越少（如1比特仅两种取值），越容易抽象为数学问题，借助优化理论拆解。从极限场景得出的结论，可迁移至其他位宽或组合优化中。
例如，我们将极限压缩中摸索出的信息理论优化视角及权重分布理解，分享给工业界团队，帮助他们突破瓶颈。这种底层认知与实际经验的互补，为解决实际问题提供了新思路。
DeepTech：若将机器学习视为信息压缩，你们的模型压缩是否属于“二次压缩”？
秦浩桐：这是一个有趣的猜想。机器学习将海量信息提炼为参数中的能力，但这未必适配真实部署的效率要求。当资源不足以支撑模型高效运行时，人为进行的“二次压缩”便成为必要。我们的目标是在尽量减少有效信息破坏的前提下，保留关键知识和能力。
延迟即体验：真实世界不会等待模型思考
DeepTech：将语言模型部署到赛车上的实验，给你带来了哪些新启示？
秦浩桐：此前我们主要关注芯片上的推理表现。实体设备上的闭环任务让我们认识到延迟对最终表现的影响。在赛车实验中，虽然压缩导致模型精度略有下降，但推理速度从分钟级缩短至秒级。决策依据的环境信息因此更加及时。在物理交互场景中，信息的时效性往往比微弱的理解力提升更能决定系统表现和用户体验。这是纯算法仿真难以直观感受到的。
DeepTech：当下如何评判一项效率研究的价值？
秦浩桐：在论文数量激增的背景下，评判难度加大。若无时间复现，我会优先考察数理逻辑的自洽性及理论解释力。其次看代码和模型的开源完整度。对于效率研究，还需验证其是否在真实硬件上部署、是否有配套算子及实测数据。这些维度虽不能直接证明重大突破，但能显著增加工作的可信度。
人机协作：构建学习与反馈的闭环
DeepTech：作为导师，你希望如何帮助如今拥有更多工具和渠道的学生？
秦浩桐：指导的底层逻辑未变，即帮助学生梳理选题、框架和逻辑。但现在的学生知识面更广，产出更早。我希望依托自身经验，与学生共同探索有价值的问题，同时主动吸收他们掌握的新知识。AI发展迅速，无人能全知全能，师生交流应是双向成长的过程。
DeepTech：你鼓励学生使用AI，但也存在“工具削弱思考习惯”的担忧。你如何应对这一风险？
秦浩桐：我支持拥抱AI，正如当年利用翻译工具辅助英文写作一样。大模型是能力更强的辅助工具，能帮助想法落地成文。但高质量研究离不开人的科研品味、逻辑思辨和判断力。研究者需反复与模型交互，排查漏洞并修正。最终的判断环节必须由人把控。
DeepTech：如果学生过度依赖AI生成代码和材料，如何培养判断力？
秦浩桐：核心在于建立“学习与反馈闭环”。过去是“老师传授-学生学习-老师评估”，现在应转变为“AI辅助-学生校验-自我负责”。学生需理解关键原理，通过资料核对、代码测试和实验验证来检查结果。AI可用于信息搜集和构思，但不能替代研究者的理解与校验。单向的信息流动是危险的状态，研究者必须对自己的结果负责。
参考资料
https://www.polyu.edu.hk/comp/people/academic-staff/prof-qin-haotong/
https://proceedings.mlr.press/v235/huang24q.html
运营/排版：何晨龙
注：封面/首图由 AI 辅助生成