作者信息

作者头像

AI 原力注入

微软 CEO 萨提亚曾说：“所有产品都值得用 AI 重做一遍。” 我们正处在一场深刻变革中，唯有用 AI 赋能自身，才能拥抱未来。原力注入从云原生迈向 AI 新时代，期待在这个伟大时代中持续成长、不断突破。

515

内容
0

粉丝
225

曝光量

NVIDIA GPUDirect 技术详解：RDMA 与 Storage

NVIDIA GPUDirect 技术详解：RDMA 与 Storage 在 AI 场景中，数据规模持续增长，数据传输逐渐成为性能瓶颈。传统架构依赖 CPU 中转 GPU 与网卡、存储的数据，增加延迟并占用资源。英伟达提出的 GPUDirect 技术通过绕过 CPU，实现

6天前

LMCacheConnector (vLLM 集成) 代码分析

LMCacheConnector (vLLM 集成) 代码分析 LMCacheConnector是LMCache架构中负责与 vLLM 计算引擎深度集成的核心适配层。它作为 vLLM 的 KVConnectorBase_V1 接口实现，驻留在 vLLM 的进程空间

1周前

LMCache LocalCPUBackend 源码分析

LMCache LocalCPUBackend 源码分析 LocalCPUBackend 构成了 LMCache 的 L1 本地内存缓存层，基于主机内存提供微秒级访问能力，并同时承担核心内存分配器职责，统一负责本地 I/O 与远程传输过程中所有内存对象的分配

1周前

一文算清 LLM 推理显存：权重 + KV Cache + 额外开销，怎么做才不翻车？

一文算清 LLM 推理显存：权重 + KV Cache + 额外开销，怎么做才不翻车？本文拆解LLM推理显存三大来源：模型权重、KV Cache与运行时开销，给出可复现的KV Cache通用公式与单Token增量估算，解释并发与上下文为何线性吃显存，并用 Qwen3-0.6B + A1

1周前

华为 ModelEngine AI 容器 Flex:ai 开源组件 GPU-Virtual-Service 源码解析

华为 ModelEngine AI 容器 Flex:ai 开源组件 GPU-Virtual-Service 源码解析华为 ModelEngine AI 容器 Flex:ai 开源组件GPU-Virtual-Service 深度剖析：CUDA 劫持机制、全链路流程与 HAMi-Core 对比。

2周前

LMCache 分层存储架构与调度机制详解

LMCache 分层存储架构与调度机制详解本文档深入剖析 LMCache 的多级存储架构及其代码实现机制。重点阐述核心组件 StorageManager 如何协同管理内存 (L1)、弹性互联 (L2)、本地磁盘 (L3) 及远程共享存储 (L

2周前

LMCache 架构概览

LMCache 架构概览 LMCache 是一个专为大语言模型（LLM）服务引擎设计的 KV Cache 管理系统，旨在通过高效的缓存机制降低 Time-To-First-Token (TTFT) 并提高系统吞吐量。本文档简要

2周前

原力注入公众号全篇合集一文读尽（截止 2025 年 12 月 31 日）

原力注入公众号全篇合集一文读尽（截止 2025 年 12 月 31 日）原力注入公众号全篇合集一文读尽（截止 2025 年 12 月 31 日）

3周前

《动手学大模型智能体》by 上海交大

《动手学大模型智能体》by 上海交大《动手学大模型智能体》系统介绍大模型智能体的理论与实践，涵盖基础概念、提示工程、评估调试、主流架构、记忆与工具调用、推理规划、微调方法及前沿方向。通过丰富示例与代码，帮助读者全面掌握智能体原理与应用。

3周前

从 40 亿整数到 HBase：一个 Membership Test 问题的抽象与演化

从 40 亿整数到 HBase：一个 Membership Test 问题的抽象与演化这篇文章从一个经典的"40 亿整数判存在"问题出发，带你理解工程系统（以 HBase 为例）的设计思路：当数据规模大到无法全部放入内存时，系统如何通过巧妙的数据结构和读取路径设计，高效地回答"某个数据

3周前

<

1

2

3

...

52

>