數據不僅總量巨大,增長速度也十分驚人,一家智能化的醫院每天可以生成3TB數據,一座智能工廠每天生成1PB數據,一座智慧城市每天產生的數據量是250PB。新基建將加速企業的數字化轉型,大量新的硬件與應用帶來數據量快速增長的同時,也讓數據類型越來越多樣化。生產、采集和保存盡可能多的數據,用于全量分析以洞察先機已成為企業的共識。海量數據蘊含巨大的價值,給存儲系統帶來了前所未有的機會和挑戰。

量變引發質變,海量數據的管理日益復雜

隨著網絡邊緣設備增多、數據規模增長,數據的分布、流動和處理的模式在發生變化,企業計算架構隨著技術和業務需求的更新也在不斷演進,新的問題逐漸浮現。

·數據的時間價值凸顯:數據隨時間不斷產生,同時在智能應用中持續迭代計算,從物聯網獲取的數據更附帶了鮮明的時序屬性。在任何時刻,近期產生的數據和頻繁參與計算的基礎數據相對更有價值,數據在不同歷史階段的使用頻次不同,而總量巨大的數據必然需要占用寶貴的存儲空間,因此高性能存儲保存高價值數據、常規存儲保存中等價值數據、高性價比存儲空間保存低價值數據并綜合考慮數據的傳輸成本是合理的介質資源分配邏輯,數據在不同介質之間的存儲、流轉和生命周期管理是未來管理者的基礎需求。

·混合云存儲的數據自由流動:為適應競爭激烈的市場環境,企業在努力縮短與客戶的距離,大量業務向互聯網化和敏捷化的方向演進,逐漸形成了在公有云部署敏捷業務、在私有云存儲核心數據的局面,這種公共云和私有云共存的形態在未來很長時間都會是常態。因此,如何實現公共云和私有云之間數據的自由流動,如何做到業務無感知,用戶不需要關注數據的位置,實現數據的融合、自由遷移和安全合規非常重要。

·云邊協同的數據管理:萬物互聯的5G時代,物與物之間的連接將急劇增多,終端數量增長,數據采集渠道更加豐富,物聯網設備將在網絡邊緣對數據進行計算、存儲、處理和分析,邊緣存儲適用于與物聯網設備緊密相關、數據傳輸延遲敏感、數據交互次數多、數據傳輸量大的物聯網應用,如工業物聯網、車聯網、智慧城市、無人機、視頻監控等。數據在云存儲和邊緣存儲之間的流動更趨復雜,云邊協同的數據管理能力變得尤為重要。

·簡化管理應對數據中心架構變革:企業計算架構處于全方位的變革中,傳統計算能力讓位于虛擬化、云化、容器化和智能化,單一的文件存儲和塊存儲正在被經濟高效的軟件定義存儲替代。數據中心架構變革處在新舊轉換期,軟件定義存儲呼嘯而來,傳統存儲仍有存在價值,二者的統一管理將有效降低數據中心的建設和運維成本。

為海量數據而生的智能存儲

不同類型的基礎技術和業務需求導致了存儲對數據感知能力的差異。塊存儲廣泛應用于業務專有系統中,這類系統要求很高的隨機讀寫性能,因此塊存儲有較強的I/O感知能力,對不同大小數據塊(如4KB/8KB/16KB)讀寫能夠感知和加速讀寫。文件存儲通常要兼顧多個應用和更多用戶訪問,以文件為單位的讀寫使得文件存儲在一定程度上可以感知內容,對不同類型的文件(如文檔、圖片、音頻、視頻)讀寫有對應的優化手段。

基礎技術的不同也導致存儲特性的較大差異,塊存儲如同跑車,容量有限但追求極致的速度、穩定性和可靠性;文件存儲如同大貨車,容量較大,兼容性好,如果不需要極限性能,可以適用于各種常規存儲需求;新興的對象存儲如同超大型集裝箱船舶,容量極大,支持海量并發訪問,內置的元數據結構可用于識別數據的多維度屬性,使得對象存儲可以實現應用感知(如某數據庫應用、某機器視覺的工業應用、某人工智能應用的模型訓練),并因此針對智能應用提供加速能力,甚至將一些在應用層處理代價很高的問題卸載到存儲服務器中解決。

以對象存儲為核心技術的海量智能存儲,憑借靈活的去中心化架構帶來的彈性擴展能力、高并發訪問等天然優勢,消除了容量和性能的約束,輕松支撐EB級規模,以千萬級IOPS和TB級聚合帶寬滿足高并發訪問需求,提供多層次多策略的企業級數據保護,加之部署簡單、靈活擴容的特點,逐漸取代傳統存儲,為海量數據提供極致容量、極致性能、極致可靠的底層支撐,為工業應用提供智能的數據服務,是數字化基礎設施堅實的數字底座。

全新的數據模式需要多元化的數據管理

因為數據規模的增長、數據來源的泛化、應用的容器化,應用和數據的分布呈多元化發展,需要有豐富的策略管理日益復雜的數據分布和流動模式。

·全生命周期自動化管理:數據的遷移管理目前主要依靠人力完成,運維人員的經驗決定了管理的質量,數據的容量決定了遷移的效率。智能存儲根據數據訪問頻率以及對數據內容和上層應用的感知,通過策略自動化管理熱溫冷數據的流動,解放人力簡化運維。比如在醫院的PACS影像系統中,近期影像存放在高性能介質,三個月以上的中期影像數據存放在低成本介質,一年以上的影像自動歸檔到藍光存儲或公有云平臺長期保存,兼顧性能和成本需求,數據分層效率提升十倍,而且顯著降低管理難度。

·混合云存儲的統一管理:出于安全和成本的考量,企業往往將敏捷業務部署在公有云,同時將重要數據存放在私有云,以兼顧業務靈活和數據安全。企業存儲需要和公有云存儲結合起來,提供業務無感知的數據融合和流動。杉巖數據和阿里云在這個領域開展了非常有益的合作,作為國內第一家支持阿里云OSS云存儲服務的企業存儲廠商,企業客戶將可以實現應用和數據的靈活部署,應用部署地點和數據存儲空間不再相互制約,滿足“敏捷-安全-成本”的混合云存儲需求。

·總部與分支機構間的數據匯聚和分發:云邊協同的數據管理能力對存儲系統支撐總部與分支機構間的數據匯聚和分發至關重要??绲赜虻臋C構內數據訪問,需要在較低的網絡帶寬條件下實現較高的讀寫性能、跨區域的統一文件視圖和異地容災能力。為了在相互矛盾的條件下滿足上述需求,企業智能存儲需要提供一個數據同步和分發架構,在存儲層面實現跨區域集群數據的統一命名空間和數據流動,通過雙活架構提供數據災難恢復能力,通過CDN實現總部中心節點的數據分發,通過分支機構的數據就近寫入實現總部的數據自動匯聚,并通過跨區域的數據調度簡化應用層數據共享的復雜性。

·傳統存儲和軟件定義存儲的統一管理:隨著企業數據中心架構整體轉向軟件定義,必須考慮新舊設備綜合利用的需求,軟件定義存儲的部署越來越多,與此同時傳統存儲也將長期存在并在其生命周期中繼續發揮作用,通過對異構存儲的統一管理整合現有設備資源可有效保護既有投資。杉巖數據已經支持對文件存儲設備的納管,對塊存儲設備的納管也將根據客戶和合作伙伴的需求陸續提供。

雙擎驅動:存儲核心引擎 + 智能數據處理引擎

高效支撐海量數據的智能存儲,既要立足當下,更要面向未來。杉巖數據敏銳地洞察到高效存儲海量小文件(小于500KB)是很多對象存儲客戶的核心需求,長時間寫入以數十億計的小文件很容易引發性能降級,在存儲容量利用率較高的時候下降幅度尤為明顯,杉巖數據存儲核心引擎通過在分布式負載管理、元數據加速、文件合并讀寫等關鍵技術的長期投入實現了百億級小文件的性能高度穩定,已經達到超越行業30%的水準。

在企業經營活動中,數據智能驅動生產決策,深度挖掘數據價值成為剛需。智能存儲不僅僅存放數據,更與前端應用深度融合,滿足數據處理、機器學習場景的應用需求。杉巖智能存儲內置了一套智能數據處理引擎,對企業應用需要的數據處理、快速文件檢索、機器學習模型訓練提供支撐能力,實現智能應用的流程精簡,大幅降低了用于智能計算的硬件投入需求,快速提升數據處理效率。比如智能數據處理引擎提供的圖像處理功能,可以在存儲系統中實現圖片轉碼、文件格式轉換、視頻抽幀,以節省容量需求、加速數據處理;通過圖像識別和OCR功能,幫助證券公司優化AI質檢算法,提高質檢效率;通過對海量原始數據的歸檔、元數據加速的快速文件檢索幫助優化AI算法,加快機器學習模型訓練的迭代速度。

海量智能存儲打造新基建數字底座

新基建為中國的產業升級清晰地指明了方向,數字化基礎設施的廣泛建設以及隨之產生的新型應用需求將帶來了數據爆發式的增長,海量數據蘊含巨大的價值,在帶來更多機遇的同時,也給傳統的IT基礎設施帶來了前所未有的挑戰,更多樣化的數據模式、日益復雜的數據管理以及高效的數據利用對存儲提出了更高的要求,建設新一代海量智能存儲成為解決這些數據應用問題的關鍵,智能存儲必將成為新基建的堅實數字底座。

未經允許不得轉載:存儲在線-存儲專業媒體 » 杉巖海量智能存儲,打造新基建數字底座
分享到

songjy

相關推薦

精品国产午夜肉伦伦影院,双性老师灌满浓jing上课h,天天做天天爱夜夜爽,攵女乱h边做边走