最近兩年

存儲招標(biāo)項目出現(xiàn)了1個大趨勢

↓

新建的千萬級存儲大項目

嘿嘿，越來越多

這類項目隨便搜搜就是一大把

……

因為對很多頭部客戶來說

政府、廣電、醫(yī)衛(wèi)、證券、科研單位...

超大容量存儲都變成了剛需

大家都在忙著一件事

↓

行業(yè)老司機(jī)們

碰到這類存儲大項目

心情就變得相當(dāng)復(fù)雜嘍

大家心里都門兒清

以前客戶存儲要擴(kuò)容，很簡單

加點磁盤擴(kuò)展柜就行

性能不夠就把機(jī)頭也升級下

項目搞起來都輕車熟路

很多都是延續(xù)性采購，單一來源

可現(xiàn)在

存儲容量規(guī)模完全爆炸了

部署難度呈指數(shù)級上升

以前的搞法有點Hold不在

必須得找新的解決方案

那么，什么規(guī)模

才能稱為海量存儲？

↓

拿最近一個真實項目舉例

450萬預(yù)算，干了5個PB

所以，PB是海量存儲的起步門檻

那么PB，又是什么級別呢？

你可以慢慢數(shù)一下，1024是進(jìn)階單位

再形象一點

如果1塊硬盤存儲容量按10T算

那么，1PB相當(dāng)大概103塊10T的硬盤

（10T*103塊硬盤=1030T≈1PB）

這還不算副本的額外開銷

現(xiàn)在稍有點規(guī)模的海量存儲項目

動輒就是幾十PB，夸張點的到幾個EB

這類項目，對于廠商來說

不僅是一種“大考”，同時也是“大坑”

沒點填坑實力，就只能喊救命了

對于這種級別的存儲來說

不僅考量超大的容量和擴(kuò)展性

還要確保高性能、高可靠、高智能

↓

那么誰才是

國內(nèi)海量存儲部署的

“藍(lán)波萬廠商”？

↓

論單體規(guī)模

曙光擁有國內(nèi)最大的

【EB級云存儲實驗室】

支撐大型行業(yè)應(yīng)用系統(tǒng)

論實戰(zhàn)規(guī)模

從2009年單套存儲系統(tǒng)容量16PB

到2022年單套存儲系統(tǒng)300PB

曙光不斷突破業(yè)內(nèi)存儲容量極限

…

支撐這些大Case的產(chǎn)品

就是曙光海量存儲系統(tǒng)的旗艦

ParaStor

↓

前面我們說過

海量存儲系統(tǒng)“水深坑多”

那么曙光ParaStor

如何涉水避坑、海納百川呢？

↓

挑戰(zhàn)1：底層數(shù)據(jù)管理技術(shù)

底層數(shù)據(jù)管理，說白了

就是對海量磁盤的管理能力

這種管理

通常靠“磁盤文件系統(tǒng)”來完成

目前業(yè)界分布式存儲系統(tǒng)

大多采用OS自帶的本地文件系統(tǒng)

或者開源文件系統(tǒng)

（EXT4/ZFS等等）

進(jìn)行底層磁盤管理

以降低代碼開發(fā)量，縮短研發(fā)周期

這種間接的磁盤管理方式

無法更直接、高效地發(fā)揮磁盤性能

讀寫數(shù)據(jù)時要調(diào)用ext4、zfs接口

好比每次調(diào)用磁盤，還得先開一道門

海量存儲系統(tǒng)，磁盤成千上萬塊

如果單磁盤的性能無法充分發(fā)揮

最終影響存儲系統(tǒng)的整體性能和可靠性

而曙光希望直接操控磁盤

自研了一套高效的本地磁盤管理系統(tǒng)

叫作Object System

↓

Object System可以“精細(xì)化”操控磁盤

能精細(xì)化地控制磁盤布局

能精細(xì)化地控制磁盤讀寫

由此，數(shù)據(jù)負(fù)載更均衡，數(shù)據(jù)讀寫更快

還能精細(xì)化地一點點“摳出”

更多的存儲空間

↓

這就涉及到了磁盤的存儲利用率

也就是大家常說的「得盤率」

挑戰(zhàn)2：不同場景下性能優(yōu)化

海量存儲應(yīng)用也分場景

比如，AI場景的圖像識別

就是典型的海量小文件的存儲場景

每個小文件都是KB級的

在峰值階段，每秒會生成大量小文件

都需要寫入存儲系統(tǒng)中

會產(chǎn)生高頻隨機(jī)I/O讀寫

這就是“小文件、大麻煩”的困境

在現(xiàn)實中，從成本考慮

客戶的存儲介質(zhì)依然以機(jī)械磁盤為主

往往無法應(yīng)對海量小文件的性能挑戰(zhàn)

曙光ParaStor采用“混搭”方案

實現(xiàn)【機(jī)械磁盤+閃存】深度融合

高頻熱點IO需求，交給閃存完成

同時通過小文件合并、元數(shù)據(jù)緩存

動態(tài)智能預(yù)讀等多種神操作

完美解決“小文件、大存儲”的難題

同時又不會有明顯成本增加

在某些新興應(yīng)用場景下

需要高性能的對象存儲

ParaStor的對象接口

對IO協(xié)議棧進(jìn)行極簡優(yōu)化

性能可達(dá)到業(yè)內(nèi)領(lǐng)先水平

還有一些是大帶寬場景

比如，非編、渲染、科研計算等

會產(chǎn)生大文件

有時單個文件達(dá)到TB級

這些場景下訪問存儲系統(tǒng)時

就需要大帶寬

曙光ParaStor也有絕招

通過高性能網(wǎng)絡(luò)RDMA協(xié)議、

專屬高性能POSIX客戶端等技術(shù)

能讓單一客戶端讀寫帶寬均超過25GB/s

這指標(biāo)，代表了業(yè)界最高水準(zhǔn)

總之，曙光ParaStor完美匹配

對帶寬、IOPS、時延的個性化需求場景

挑戰(zhàn)3：一致性和高可靠性

1、一致性

海量存儲系統(tǒng)必然伴隨著

大量客戶端的并發(fā)訪問需求

必須保證數(shù)據(jù)訪問的一致性

對此，曙光打造了一套分布式鎖

DLM（Distributed Lock Management）

分布式鎖是ParaStor的內(nèi)嵌服務(wù)模塊

是對于共享資源的高效協(xié)調(diào)器

實現(xiàn)所有客戶端對于同一文件的有序訪問

保證海量數(shù)據(jù)的強(qiáng)一致性

2、高可靠性

一個百PB級海量存儲系統(tǒng)

運(yùn)轉(zhuǎn)著上萬塊磁盤

硬盤的狀態(tài)監(jiān)控和預(yù)警處理至關(guān)重要

如果沒有智能的處理方式

那么就是一種毀滅性災(zāi)難

曙光ParaStor除了通過成熟技術(shù)

比如，多副本、糾刪碼等

來防范單故障外

還自研了一種算法

內(nèi)部資源動態(tài)調(diào)度管理算法

專門針對大集群場景

實現(xiàn)故障智能化預(yù)處理

故障無感知自愈...

挑戰(zhàn)4：異構(gòu)數(shù)據(jù)統(tǒng)一納管

曙光ParaStor的1個存儲節(jié)點

真正實現(xiàn)了海量異構(gòu)數(shù)據(jù)資源的融合

同時，曙光ParaStor還能提供

大數(shù)據(jù)存算分離解決方案

基于原生HDFS接口，無任何協(xié)議損耗

實現(xiàn)存儲與計算資源按需配置的同時

滿足新老存儲同時讀寫

應(yīng)用“0”改造，數(shù)據(jù)“0”遷移

挑戰(zhàn)5：海量節(jié)點智能化管理

集群通常有數(shù)百甚至數(shù)千節(jié)點

各節(jié)點間的信息實時同步開銷

會成為存儲系統(tǒng)的不可承受之重

曙光ParaStor在集群通信管理模塊中

以分組為單位進(jìn)行管理信令交互

實現(xiàn)管理流量的去中心化錯峰交互

集群信息秒級同步

存儲廠商那么多

為啥曙光能成為

海量存儲的領(lǐng)域的“扛把子”？

除了ParaStor存儲本身技術(shù)過硬外

還有這么幾點，也很值得琢磨

1、自研技術(shù)，高可控性

2009年，曙光就已經(jīng)組建存儲研發(fā)team

擁有國內(nèi)一流的分布式存儲研發(fā)團(tuán)隊

建隊初始，曙光初心就是

把核心技術(shù)牢牢掌握在自己手上

↓

通過10多年的自研歷程

曙光已經(jīng)累積200余項核心技術(shù)發(fā)明專利

連續(xù)8年領(lǐng)跑國內(nèi)分布式存儲市場

（數(shù)據(jù)來源：IDC）

2、超大規(guī)模存儲項目部署經(jīng)驗

超大規(guī)模，不僅僅是節(jié)點數(shù)增加

也不僅僅是磁盤容量的飆升

還會帶來一系列的系統(tǒng)性問題

（業(yè)務(wù)適配、系統(tǒng)兼容、容量預(yù)估甚至物理環(huán)境問題）

沒點實戰(zhàn)經(jīng)驗，光堆產(chǎn)品真不行

曙光是全國海量存儲部署規(guī)模最大的廠商

對各類高端客戶的業(yè)務(wù)屬性了如執(zhí)掌

可以見招拆招，確保項目順利落地

↓

3、超強(qiáng)的定制能力

超大項目，定制化少不了

而曙光參加過大量高端計算項目

這些項目往往都具備特殊性

因此，面對定制需求，曙光是這樣的

同時，因為底層自主研發(fā)

曙光能實現(xiàn)源代碼級調(diào)優(yōu)

幫助客戶業(yè)務(wù)系統(tǒng)深度優(yōu)化

so，老司機(jī)們，還等什么

如果你遇到難搞的海量存儲項目

找曙光準(zhǔn)沒錯啦