數據存儲產業服務平臺

集群存儲解決視頻行業中并發訪問帶來的IO壓力

隨著網絡視頻行業不斷走向成熟,越來越多的企業都參與到視頻網站建設中來,競爭愈加激烈,而帶寬、服務器、存儲、編解碼等各項技術直接關系到競爭優勢。存儲系統作為視頻數據的載體,其IO性能和可擴展性、可靠性對整套系統架構起著至關重要的作用。

集中存儲

在面對海量數據存儲時,以往用戶會采用傳統的使用方法:集中存儲,將所有的數據存放于一個單一大容量盤陣或者存儲服務器中,并采用較高等級的RAID進行數據保護(如RAID 5、RAID 6等)。

這種類型的方案確實給用戶帶來了一定的益處,那就是數據可以集中管理,用戶不用忙于數據遷移工作。但集中存儲方案中整套業務的可靠性完全集中于單個存儲設備之上,用戶將所有數據集中存放將會帶來集中崩潰的反作用。而且故障發生點也不僅局限于磁盤,網絡、RAID控制器、供電、系統、人為誤操作等各類故障都潛在威脅著數據安全,任何一點的故障都可能造成服務中斷,甚至數據丟失。

數據存儲采用集中式存儲時,所有的數據讀寫都必須通過其有限的IO總線。尤其在視頻分享一類的應用中,大量用戶并發訪問會給存儲系統帶來巨大的IO壓力。

分散存儲

數據的分散存儲結構將服務器的計算資源與存儲資源緊緊地綁定在一起,等于是各項資源被困在某一處。在計算資源方面,即使是一部分熱點數據前端的應用服務器計算處理能力不足,大部分較為冷門數據前端的應用服務器也得不到充分利用。在存儲資源方面,也存在部分存儲系統空間被耗盡,而其他存儲系統卻只有小部分數據。這樣,由于資源難以靈活調度,龐大的計算資源和存儲資源利用率低下。

在數據量不斷擴大的情況下,存儲的規模也會不斷擴展,整套存儲平臺的管理維護工作的難處也就逐漸地凸現出來,平臺的潛在故障對數據安全性的威脅也逐漸增大。

數據一旦被分散存儲到多套存儲系統上,各存儲系統的網絡、磁盤、軟件BUG、人為誤操作等各種危險故障,都會給部分數據造成威脅。并且,隨著規模擴大,各種故障出現的概率也就越大。管理員為了保障數據的安全而忙于處理數據備份、遷移,過多的人為參與也增加了誤操作的危險。

集群存儲

目前,非結構化數據爆炸性增長、傳統存儲系統難以滿足需求,于是誕生了一種新型數據存儲方案:集群存儲。它采用數據分布到集群中各節點上的存儲方式,提供單一的使用接口與界面,使用戶可以方便地對所有數據進行統一使用與管理。集群存儲將集群中所有磁盤設備整合到單一的共享存儲池中提供給前端的應用服務器,極大提高了磁盤利用率。集群存儲系統同時集合了NAS的數據共享和SAN的高性能等特性,可以為非結構化數據提供具備極高IO帶寬和靈活可擴展性的存儲解決方案。

集群存儲現在已經發展到了一個成熟的時期,多款成熟的產品已經在不同的生產領域得到實際使用,幫助企業提升競爭力。例如,著名視頻分享網站Youtube,使用Google的GFS等集群存儲技術搭建了極具伸縮性和性價比的集群存儲架構,以支撐極高的并發訪問量和視頻上傳量,具有高聚合帶寬和高可用的特點,并很好地控制了軟硬件費用支出,為業務長期運轉打下了良好基礎。

LoongStore大規模集群存儲系統是北京龍存科技有限責任公司的旗艦產品,具有自主知識產權。那么,該產品是如何解決視頻分享網站所關心的存儲難題的呢?

如何滿足視頻分享不斷增長的IO帶寬和存儲容量需求?LoongStore大規模集群存儲系統由應用服務器集群、元數據服務器集群、智能存儲服務器集群等三部分組成,各部分都以通用服務器硬件為構建單元,并且都具有動態擴展能力。當視頻分享服務器增加、IO帶寬需求增加時,用戶可以動態添加智能存儲服務器,以獲得更高的聚合帶寬和更大的存儲容量。

存儲集群中有軟硬件故障是否會影響業務正常進行?LoongStore大規模集群存儲系統在集群環境中使用了數據高可用技術,可以避免因節點、網絡、系統等故障和人為誤操作引起的業務中斷和數據丟失,系統內置的故障恢復流程可以在無用戶參與的情況下完成處理。

LoongStore已經被國內多個大型視頻分享網站所采用。由于使用通用的服務器硬件,用戶無需考慮兼容性、價格、復雜的配置等因素。在實際使用中,LoongStore存放著上千萬個視頻短篇,提供數百TB的存儲容量、高達數GB的聚合帶寬,企業以更低的支出成本獲得了更高的IO性能,管理員也從原來數據遷移與故障恢復工作中脫離出來。

未經允許不得轉載:存儲在線-存儲專業媒體 » 集群存儲解決視頻行業中并發訪問帶來的IO壓力
精品国产午夜肉伦伦影院,双性老师灌满浓jing上课h,天天做天天爱夜夜爽,攵女乱h边做边走