开源文件系统 3FS
提升大模型效率的新利器
在人工智能领域，大模型的蓬勃发展带来了计算资源、存储系统以及数据访问效率等多方面的巨大挑战。大模型往往拥有百亿甚至数千亿的参数，其训练和推理过程对系统性能要求极高。2 月 28 日，DeepSeek 开源了高性能分布式文件系统 3FS，旨在解决人工智能训练和推理工作负载的难题，为大模型的高效运行提供有力支持。
分布式文件系统的出现是为了满足大规模数据处理的需求。它巧妙地让应用程序误以为是在与常规的本地文件系统进行通信，即使文件实际上分散在多台不同的机器上，用户看到的也只是简单的文件路径，如 /3fs/stage/notes.txt。使用分布式文件系统与本地文件系统并无太大差异，用户可以像操作本地文件一样轻松地执行各种命令，无需关心后台涉及的机器数量、网络调用次数以及硬盘情况等细节。
与本地存储相比，分布式文件系统具有显著的优势。首先，它能够处理海量数据，数据量可高达 PB 级；其次，它提供了超越单机能力的高吞吐量。此外，分布式文件系统还具备容错能力，即便一台机器出现故障，系统仍能继续运行；同时拥有冗余能力，即使一个节点上的数据损坏，其他节点仍可获取原始副本。这种强大的性能使得分布式文件系统在并行处理框架（如支持 Spark 的 HDFS）、机器学习训练流水线（带有数据加载器和 check point）、大型代码/数据存储库以及旅行、照片存储服务等众多实际应用中得到广泛使用。
那么，DeepSeek 开源的 3FS 是如何工作的呢？其核心由四种主要节点类型构成。Mgmtd 节点负责管理服务器控制集群配置，跟踪集群中正在运行的节点，存储节点和元节点在启动时会向其注册并定期发送心跳信号。Mgmtd 就像一个路由器，知道每个节点的地址，帮助节点相互查找，同时还维护着分布式算法中不同节点的配置，如建立复制链（CRAQ 算法）。
Meta 节点则管理元数据，包括文件位置、属性、路径等，客户端通过 RPC 调用与其通信，元服务器在元存储上执行常见的文件系统操作，文件元数据存储在 inode 中，DirEntry 对象将路径映射到 inode，并且 inode 和 DirEntry 都存储在 FoundationDB 中。会话管理器跟踪打开的文件，文件删除请求会排队到垃圾收集器。
存储节点的主要任务是管理物理存储上的数据，它将数据分解成块。Rust 中的 ChunkStore 是一个旧版块管理器，用于跟踪磁盘存储块。Chunk 代表一块物理磁盘并记录其元数据，Chunk 引擎不允许用户直接与 Chunk 交互，而是提供了一系列操作接口，默认数据存储在 LevelDB 中。
不同的 Worker 使用块引擎来维护物理存储，如 AllocateWorker 分配新块、PunchHoleWorker 回收不再使用的块、AioReadWorker 处理读取请求等。存储节点还需要知道如何将写入操作转发到 CRAQ 链中的下一个目标，通过向 mgmtd 服务器查询其他节点的链以及相应目标。
CRAQ（Chain Replication with Apportioned Queries）是 3FS 中确保数据块容错的核心机制，实现了强一致性和线性一致性。写入操作从链的头部开始，每个条目会被标记为「脏」并附带版本号，脏条目不可安全读取，当写入操作到达尾部后会被提交并标记为「干净」，随着提交消息从尾部向头反向传播，写入操作变得干净。
对于读取操作，如果对象是干净的则立即返回给客户端，对于脏对象，副本会查询尾部以获取最新提交的对象，从而保证强一致性。CRAQ 的读写性能会因工作负载而异，写入吞吐量和延迟受链中最慢节点的限制，在 Zipfian 工作负载中读取性能可能会受到影响。
在 3FS 中，存储采用条带化，CRAQ 在其上运行。集群由多个节点组成，每个节点配备多个 SSD，存储目标复制到多个节点以避免数据重叠和节点故障对整体吞吐量的过大影响。3FS 默认采用强一致性读取，写入操作从头到尾再从头到尾，吞吐量受最慢节点限制，延迟由所有链节点的总延迟决定。
与其他分布式文件系统相比，3FS 的架构虽然在组件概念上有相似之处，但在实际适用性和实现上存在差异。它在处理工作负载的能力、调优灵活性、部署简便性、吞吐量扩展能力、延迟可靠性等方面具有自身特点，同时在更精细的技术细节上，如瓶颈管理、锁定方法、数据结构、针对的硬件以及容错算法等方面也有所不同。
目前，关于 3FS 的性能评估还存在一定的局限性，因为分布式文件系统的开发本身具有挑战性，且基准测试有限，尚未与单节点系统和其他分布式文件系统进行充分比较。但可以确定的是，3FS 为大模型的训练数据预处理、数据集加载、检查点保存/重新加载、嵌入向量搜索和 KVCache 查找等工作提供了高效的支持，有望在 AI 基础设施领域发挥重要作用，未来也值得进一步深入研究和探索其性能优化的方向。
元龙科技AIGC，365元畅学AI入门
福利一：年卡会员特惠来袭，365 元畅享整年知识福利，赠价值 1000 元的 AI 人工智能通识 3 天线下培训，专业讲师助您入门前沿技术。
福利二：4980 元拿下工信部 AIGC 专业级资格证，含 120 节精研课程包，覆盖知识要点，另赠千元 3 天线下培训，线上线下结合，助您抢占职业先机。
别犹豫啦，速来开启人工智能学习之旅！
培训地点 ：
山西省运城市好课堂乐学广场4楼路演大厅
咨询电话：
4001188556/17703590976
END
