杉巖數據CTO?? 邱尚高

傳統NAS存儲制約業務的發展

“互聯網+”趨勢的推進以及各類智能終端的普及,非結構化數據呈現出爆發性增長,如:金融業務辦理的開戶視頻、互聯網金融行業的申請資料、保險行業的理賠資料、快遞行業的電子快遞單、安防行業的視頻監控錄像等。同時,為了滿足政策合規性,部分行業監管要求長時間保存以供查詢取證。

如今,這些傳統企業的IT部門正在經歷著互聯網公司曾經遭遇的NAS無法解決的存儲難題,主要體現在如下方面:NAS存儲采用古老的文件系統技術,單個文件系統容量受限,超過容量后對IT運維將帶來巨大挑戰;NAS存儲的目錄文件系統采用B+樹進行文件索引,當文件數量過多時,會嚴重影響訪問性能;NAS設備過維保后,由于非結構化數據規模較大,在更換時需要花費大量時間,且數據遷移存在風險等等。

那么,相對于傳統NAS文件存儲而言,對象存儲到底可以帶來哪些顛覆性的技術優勢,接下來和大家做一些簡單分享。

對象存儲將成為企業存儲的新標準

分布式去中心架構,容量和性能擴展方便

對象存儲普遍采用的是基于通用x86服務器+分布式對象存儲軟件的技術架構,對象存儲軟件將多臺服務器通過以太網連接,構建成一個統一的存儲資源池,可動態增加或刪除服務器實現容量的調整,數據能夠自動均衡,并且利用副本和糾刪機制(類似于RAID5/6)實現數據的高可靠和高可用性。

傳統NAS過維保后,需要將過保設備上的數據人工遷移到新購置的NAS上,文件數量較多的用戶需要花1到2個月時間,運維人力消耗非常大。而采用如下圖所示的分布式架構,可以動態移除舊設備,無需人工干預,業務也不受影響。

創新的索引技術,真正解決海量小文件問題

海量小文件的存儲是工業界和學術界公認的難題,解決問題較為關鍵的技術點就是優化元數據管理,由于傳統NAS采用B+樹進行文件檢索,當文件數量比較少的時候,B+樹基本可以被緩存,性能還是不錯的。但隨著文件數量的增多,B+樹占用空間非常大無法被緩存時,就會涉及到機械盤操作導致性能明顯下降,如果層級較深,僅僅索引訪問就會產生多次磁盤隨機訪問操作,嚴重影響文件的訪問性能。

而對象存儲普遍采用了分布式哈希查找算法(DHT),技術原理:在建立集群時,對象存儲將整個存儲空間劃分成一個哈希環,每個磁盤負責哈希環中部分哈希分區的存儲。當需要訪問一個文件時,系統通過“目錄/桶名+文件名”的哈希計算后,查詢DHT表即可定位到具體磁盤進行文件訪問。由于哈希環并不隨文件數量的增加而增多,所以查找性能不會受到文件數量的影響。

超大容量單目錄,滿足業務生命周期存儲需求

傳統NAS存儲采用文件系統技術,單個文件系統容量普遍在幾十TB級。由于IT管理人員在業務上線前無法對規范容量和目錄需求做出精準評估,對于某些產生數據量較大的業務系統來說,需要掛載多個文件系統目錄,這會帶來很多非增值的運維工作。

而對象存儲采用扁平化的文件名唯一定位方式,單個目錄或者存儲空間能達到數十PB甚至數百PB級,可以滿足業務系統整個生命周期的存儲容量需求,無需掛載目錄和調整業務系統,讓IT人員更加關注業務價值本身。

更加適用于多數據中心容災場景

高效的業務系統容災方案是企業IT部門最為關注的焦點之一。對象存儲在接口方面的技術改良,使其在多數據中心容災方面支持得更加完善,大部分對象存儲廠商都支持兩個及以上的多數據中心容災。傳統NAS往往是主備模式的容災,而對象存儲普遍支持Active-Active模式的容災,可實現本地數據中心應用的就近訪問。這對于采用負載均衡模式數據中心的企業來說,是非常有價值的,可以提升每個數據中心業務系統的訪問性能。

實現私有云和公有云間的數據流通

隨著企業互聯網業務的發展,越來越多的應用運行在智能終端和公有云平臺上,而考慮到安全性和保密性,數據依然保存在企業內部。傳統NAS的CIFS/NFS協議只能被企業內網訪問,無法直接提供給外部網絡。對象存儲最早被應用在互聯網和公有云場景,所以對象存儲的訪問協議(S3、SWIFT)都是基于HTTP標準協議,可支持內網和外網應用系統對存儲的自由訪問。

在安全性方面,數據采用AES進行加密傳輸,支持HTTPS保證傳輸鏈路安全。S3協議還定義了完整的多租戶訪問、文件粒度的授權訪問等多種安全技術,保證了數據開放給外網訪問的安全性。

關于應用對象存儲技術的一些建議匹配

對象存儲典型的應用場景

傳統文件存儲主要有兩種使用場景:一種是在線編輯場景,如媒資行業的現編系統存儲,另一種是非在線編輯場景,主要是滿足歸檔和查詢需求,不需要對文件內容進行修改。在實際應用中,非在線編輯場景占數據總容量的80%以上。對象存儲接口能夠完全滿足非在線編輯場景的需求,因此在此類場景中用戶可以完全替換掉傳統NAS。為了讓用戶更好地匹配對象存儲的關鍵應用場景,我們做了如下總結:

1)文件數量特別多,訪問性能受到影響的場景。例如:銀行的影像資料、保險的電子保單、快遞的電子快遞單等等,對象存儲可以保證在這種場景下的訪問性能。

2)數據存儲量特別大,需要長期保存的場景。例如:金融行業的雙錄、醫療行業的影像資料、提供客服中心服務的語音資料等等,利用對象存儲的彈性擴展能力以及超大容量目錄,保證業務系統整個生命周期不需要做任何變更。

3)互聯網業務的使用場景,例如:互聯網金融相關業務,對象存儲可以實現互聯網應用對企業內部文件的安全訪問,讓數據在企業內部和互聯網間高效流動。

4)多數據中心共享場景,例如:跨地域的文件共享、總部與分支機構文件的共享與歸集等應用場景。

重視廠商的技術服務能力

雖然AWS S3協議已成為對象存儲的事實標準,其數據訪問接口相對傳統文件系統訪問接口更加簡單。但由于S3接口相比NAS提供更加豐富的功能,包括:權限管理、租戶管理、標簽、外鏈、配額、多版本、生命周期、多數據中心策略等上百個API接口,如何充分利用好這些接口,幫助業務系統提高數據安全性、優化業務性能、優化存儲管理、優化多數據中心訪問方式和存儲策略等方面,可能需要有對象存儲部署經驗的廠商來協助。

因此,我們建議在引入對象存儲技術的同時,用戶應該更多地關注廠商對于應用開發技術的服務能力,實現對象存儲部署價值的最大化。

未經允許不得轉載:存儲在線-存儲專業媒體 » 杉巖數據CTO:對象存儲將成為企業存儲新標準
分享到

崔歡歡

相關推薦

精品国产午夜肉伦伦影院,双性老师灌满浓jing上课h,天天做天天爱夜夜爽,攵女乱h边做边走