DeepSeek开源周第五弹：3FS,一个高性能分布式文件系统

“今天，deepseek-ai开源了分布式文件系统3FS（Fire-Flyer File System）强势登场，号称要用6.6 TiB/s的吞吐量和30分钟排序110.5 TiB的惊人性能，彻底解决AI存储瓶颈。”

3FS官方仓库地址：

https://github.com/deepseek-ai/3fs

01

—

3FS的核心秘密——技术解构

3FS的杀手锏在于其分离式架构和对现代硬件的极致利用。它结合数千个SSD的吞吐量与RDMA网络的高带宽，构建了一个无本地性限制的共享存储层。简单来说，无论数据在哪里，访问速度都快得像在本地。

强一致性：通过CRAQ（Chain Replication with Apportioned Queries）实现，分布式环境下也能保证数据不乱。

• 无状态元数据：基于FoundationDB的事务型键值存储，开发者无需学习新API，接入成本几乎为零。

• 多场景适配：从数据准备到训练样本随机访问，再到高吞吐量检查点和推理KVCache，3FS几乎覆盖AI全生命周期。

这种设计让3FS不仅是一个文件系统，更像是一个为AI量身定制的“数据加速器”。

02

—

3FS硬核性能

3FS的性能数据让人瞠目结舌：

• 峰值吞吐量：180个存储节点+500多客户端，聚合读吞吐量高达6.6 TiB/s，即使有背景流量也不掉链子。

• GraySort测试：25个存储节点+50个计算节点，30分钟14秒排序110.5 TiB，平均每分钟3.66 TiB，堪称分布式排序的“速度之王”。

• KVCache推理：峰值读吞吐量40 GiB/s，比传统DRAM缓存更便宜，容量更大，完美适配推理场景。

这些数字背后，是3FS对AI工作负载的深刻理解——它不仅快，还能稳定应对高并发和复杂任务。

03

—

3FS的野心与潜力

3FS的目标显然不只是做一个“快存储”。它试图通过统一的共享存储层，简化分布式AI应用的开发流程。想象一下：无需预取数据、无需手动洗牌样本、检查点秒级完成、推理缓存成本腰斩——这对AI工程师来说简直是梦幻场景。

更重要的是，3FS的开源性质让开发者可以自由定制。它可能成为AI生态中的一块重要拼图，甚至挑战现有的分布式文件系统格局。