韩国电信运营商LG Uplus于10月2日宣布，与AI模型优化专家OptAI达成合作，共同开发令牌优化技术。该技术旨在降低GPU使用率及电力消耗，同时显著提升AI处理效率。
作为AI处理用户查询及生成响应的基本数据单位，令牌的优化至关重要。根据规划，LG Uplus将依托自身AI服务运营对该技术进行测试与应用；OptAI则专注于研发更轻量、高效的AI模型执行工具。
移动端NPU验证成效显著
在基于Exaone系列的小型语言模型早期测试中，双方成功实现了模型在智能手机神经处理单元（NPU）上的部署。数据显示，相较于传统CPU方案，该技术在保持同等性能的前提下，功耗降低78%，模型体积缩减82%。
服务器端GPU效能提升四倍
目前，该项技术正从移动端向服务器GPU环境扩展。LG Uplus表示，新技术可将单张GPU处理的令牌数量提升至现有方法的4倍，大幅增强AI算力利用率。