分享
腾讯开源混元AI底层基础设施核心技术
2026-02-05 09:22 星期四
2月5日,腾讯混元AI Infra团队正式开源一款高性能大语言模型(LLM)推理核心算子库——HPC-Ops。实测显示,在真实业务场景中,使用该库后,混元模型的每分钟查询量(QPM)提升30%,DeepSeek模型QPM提升17%。在关键算子性能上,Attention计算速度最高比FlashInfer/FlashAttention快2.22倍;GroupGEMM比DeepGEMM快1.88倍;FusedMoE比TensorRT-LLM快1.49倍。
新闻推荐
查看更多



