作者信息

作者头像

AI不止算法

AI-HPC/AI工程/AI推理加速/AI算子开发的技术分享和入门转行学习的全套解决方案提供

92

内容
0

粉丝
90

曝光量

深入解读ThunderKittens: 兼顾cutlass性能与Tilelang易用性的C++模板库

深入解读ThunderKittens: 兼顾cutlass性能与Tilelang易用性的C++模板库 ThunderKittens诞生自2024年10月，那个时候，cutlass才3.5版本，还在支持一系列H100 GEMM变种，DeepseekV3还没信儿，Triton是当时python kerne

4个月前

解锁新世界~Dify/ComfyUI沉迷记~AI推理加速&Infra工程师熊猫直呼: LLM应用 yes！

解锁新世界~Dify/ComfyUI沉迷记~AI推理加速&Infra工程师熊猫直呼: LLM应用 yes！

4个月前

课程五-(二)-手撕代码: 一个工业级LLM量化runtime正式发布! 量化推理全过程一览无余！

课程五-(二)-手撕代码: 一个工业级LLM量化runtime正式发布! 量化推理全过程一览无余！课程5-2项目是一个runtime(运行时)，专门支撑课程5-1量化工具输出的量化模型在SM75/SM80/SM89（turing, ampere, ada卡）的高性能推理

5个月前

饭前闲聊 GPU 高性能算子编程新势力：老大哥TVM加入cuTile、Tilelang和triton的深度对话 (2)

饭前闲聊 GPU 高性能算子编程新势力：老大哥TVM加入cuTile、Tilelang和triton的深度对话 (2) 上篇文章把我和两位同事的对话内容po出来之后，他们很震惊很宠幸，决定这次再进行一次首席科学家高质量圆桌对话

5个月前

饭后闲聊 GPU 高性能算子编程新势力：cuTile、Triton 与 TileLang 的深度对话 (1)

饭后闲聊 GPU 高性能算子编程新势力：cuTile、Triton 与 TileLang 的深度对话 (1) 这周工作日，我和两位同事饭后漫步在太平洋边，感叹如今AI infra工作层出不穷，这不，有了以下对话，大家看了

5个月前

nvFP4 Batch GEMV算子系列(下)--Pytorch+Blackwell协同开发nvFP4 BatchGEMV

nvFP4 Batch GEMV算子系列(下)--Pytorch+Blackwell协同开发nvFP4 BatchGEMV pytorch写一个blackwell nvFP4 batched GEMV算子

5个月前

nvFP4 Batch GEMV算子系列(上)--关于mxFP4/nvFP4知道这些就OK了

nvFP4 Batch GEMV算子系列(上)--关于mxFP4/nvFP4知道这些就OK了避免知识碎片，不罗里吧嗦，5分钟看完并吸收。

6个月前

手把手教你用赤兔大模型推理框架在5090上部署 Qwen3-32B-FP4

手把手教你用赤兔大模型推理框架在5090上部署 Qwen3-32B-FP4 年初，清华大学与国内AI Infra企业清程极智联合开源了推理引擎—— 赤兔

6个月前

全面解析MoE专家并行EP all-to-all算子(小白也能看懂)

全面解析MoE专家并行EP all-to-all算子(小白也能看懂)

6个月前

大模型通信算子--int8/int4 custom AllReduce kernel的设计和实现

大模型通信算子--int8/int4 custom AllReduce kernel的设计和实现

7个月前

<

1

2

3

...

10

>