2月28日消息，DeepSeek开源周第五天，DeepSeek宣布开源了Fire-Flyer文件系统（3FS）。
Github地址：deepseek-ai/3FS
据介绍，3FS是一个高性能并行文件系统，能应对AI训练和推理工作负载的挑战，它利用现代SSD和RDMA网络提供共享存储层，能简化分布式应用程序的开发。
在由180个存储节点组成的大型测试集群上，3FS最终的总读取吞吐量达到约6.6个TIB/S； KVCache 查询每个客户端节点达到40+GiB/s的峰值吞吐量。
DeepSeek列举了3FS的主要功能和优势包括：
性能和可用性
* 分解式架构结合了数千个SSD的吞吐量和数百个存储节点的网络带宽，使应用程序能够以不受位置影响的方式访问存储资源。
* 强一致性实现带有分配查询（CRAQ）的链式复制以实现强一致性，从而使应用程序代码简单且易于推理。
* 文件接口开发由事务键值存储（例如FoundationDB）支持的无状态元数据服务。文件接口众所周知且随处可用。无需学习新的存储API。
多样化的工作负载
* 数据准备将数据分析管道的输出组织成分层目录结构，并有效地管理大量中间输出。
* 数据加载器通过跨计算节点随机访问训练样本，消除了预取或混洗数据集的需要。
* 检查点支持大规模训练的高吞吐量并行检查点。
* 用于推理的KVCache提供了一种基于DRAM的缓存的经济高效的替代方案，可提供高吞吐量和更大的容量。
0 条