2月28日消息，在不舍與興奮中，我們迎來了DeepSeek開源周第五天。今天DeepSeek開源的項(xiàng)目是：Fire-Flyer文件系統(tǒng)，即3FS。
據(jù)了解，3FS是一個(gè)高性能并行文件系統(tǒng)，它是所有Deepseek數(shù)據(jù)訪問的助推器，能應(yīng)對(duì)AI訓(xùn)練和推理工作負(fù)載的挑戰(zhàn)。
它利用現(xiàn)代SSD和RDMA網(wǎng)絡(luò)提供共享存儲(chǔ)層，能簡(jiǎn)化分布式應(yīng)用程序的開發(fā)，具有以下主要特性：
1、分離式架構(gòu)：結(jié)合了數(shù)千個(gè)SSD和數(shù)百個(gè)存儲(chǔ)節(jié)點(diǎn)的網(wǎng)絡(luò)帶寬，使應(yīng)用程序可以不受位置限制地訪問存儲(chǔ)資源
2、強(qiáng)一致性：實(shí)現(xiàn)了鏈?zhǔn)綇?fù)制與分配查詢(CRAQ)協(xié)議，確保數(shù)據(jù)的強(qiáng)一致性，簡(jiǎn)化應(yīng)用程序開發(fā)
3、文件接口：提供基于事務(wù)性鍵值存儲(chǔ)(如FoundationDB)支持的無狀態(tài)元數(shù)據(jù)服務(wù)，使用通用的文件接口，無需學(xué)習(xí)新的存儲(chǔ)API
4、多樣化工作負(fù)載支持
4.1 數(shù)據(jù)準(zhǔn)備：高效組織數(shù)據(jù)分析管道的輸出和管理大量中間結(jié)果
4.2 數(shù)據(jù)加載：支持計(jì)算節(jié)點(diǎn)間的訓(xùn)練樣本隨機(jī)訪問，消除預(yù)取或打亂數(shù)據(jù)集的需求
4.3 檢查點(diǎn)保存：支持大規(guī)模訓(xùn)練的高吞吐并行檢查點(diǎn)保存
4.4 推理KVCache：提供比基于內(nèi)存緩存更具成本效益的替代方案，同時(shí)提供高吞吐量和更大容量
另外，3FS的核心性能指標(biāo)表現(xiàn)在聚合讀取吞吐量上，具體體現(xiàn)就是在由180個(gè)存儲(chǔ)節(jié)點(diǎn)組成的集群中，可實(shí)現(xiàn) 6.6 TiB/s 的聚合讀取吞吐量。
在基準(zhǔn)測(cè)試表現(xiàn)中，在25節(jié)點(diǎn)集群的 GraySort 基準(zhǔn)測(cè)試中，吞吐量可達(dá) 3.66 TiB/分鐘；在單客戶端節(jié)點(diǎn)的 KVCache 查找峰值吞吐量超過40 GiB/s。
尤其值得一提的是，3FS對(duì)于V3和R1中訓(xùn)練數(shù)據(jù)預(yù)處理、數(shù)據(jù)集加載、嵌入向量搜索和KV Cache查找等工作，都立下了汗馬功勞，可謂功高蓋主！
網(wǎng)友們表示，3FS和Smallpond為AI數(shù)據(jù)處理設(shè)定了新基準(zhǔn)，將改變數(shù)據(jù)處理的游戲規(guī)則。這對(duì)于AI演化來說，相當(dāng)于從自行車升級(jí)到了高鐵！大家說，3FS牛不牛！
本文鏈接：http://m.zh1234.com/news15945.htmlDeepSeek完美收官：開源勞苦功高的3FS！
