數據存儲產業服務平臺

騰訊Techo開發者大會揭曉云存儲發展趨向:高性能、高可用、高性價比

產業數字化轉型過程中產生著比過去任何一個時代都多的數據。在這樣的背景下,數據存儲技術應該怎么發展?11月7日,在騰訊Techo開發者大會上,來自科研領域的專家和騰訊云存儲業務的工程師們共同揭開了云存儲的發展趨勢。

據IDC預測,全球數據總量預計2020年達到44ZB(440億TB)。隨著IT信息系統的不斷發展,數據在各個行業的應用越來越廣的同時,云存儲又該如何進化滿足大數據時代的要求?華中科技大學計算機學院教授、信息存儲專委會常委、SNIA中國區專家委員會副主席謝長生在活動現場對存儲行業的未來發展趨勢進行了展望。

謝長生指出,主流存儲介質從磁介質到閃存介質轉移的同時,也驅動了接口協議的變化。存儲行業未來將在縱向沿著Cache技術,橫向朝著分布式存儲兩個方向繼續進化。此外,包括智能存儲、支撐AI的存儲、交存內計算、計算型存儲、類腦存儲、區塊鏈存儲等在內的一些新興存儲技術也將迎來更大的發展際遇,在存儲的大數據時代發揮更大的作用。

萬物上云時代,云硬盤已經成為云的基礎服務。騰訊技術工程事業群云硬盤專家工程師王銀虎表示,通過介質升級,騰訊云云硬盤產品歷經了普通云盤、高性能云盤、SSD云盤三大階段?;诨旌洗鎯橘|的高性能云盤性能指標達到了普通云盤的10倍,延遲低于5ms,高性能SSD云盤延遲甚至低于3ms。而騰訊云的下一代云硬盤——HSSD云盤則利用客戶端卸載、存儲卸載以及網絡卸載的技術手段,可實現更低的延時和高性能,目前在平臺側已將延時降低到100微秒以下。

近年來,隨著云端數據的增長,用戶對云上數據產生價值的需求越來越強烈,云端大數據處理的瓶頸正在逐漸凸顯。雖然業界推出了大數據存儲基于對象存儲的方案,提升了整體靈活性,但云數據的延時較高,整體大數據分析場景效率較低。在此背景下,騰訊云基于對象存儲研發了CHDFS。騰訊云騰訊云存儲研發專家工程師嚴俊明表示,騰訊云CHDFS融合了獨立的元數據管理能力和對象存儲的存儲容量的能力,擁有高效和云數據操作低延時的特性。目前騰訊云CHDFS的服務可用性已達99.9%,數據持久性可以達到99.999999999%。

另一方面,騰訊龐大的自有業務體系也為云存儲產品和技術提供了絕佳的實踐平臺。

微信作為一款月活用戶超過10億的國民級應用,系統每天讀寫量超過數萬億,峰值時數據調用超過1億次/秒的。在海量存儲中做到高性能,進而降低成本,是其面臨的最大挑戰。微信事業群分布式存儲工程師鄭建軍表示,通過定制式開發的手段提升微信存儲系統的基本能力,使得微信的存儲性能比傳統模式提升了近1倍。為提升數據安全性,微信還采用了多副本存儲、實時校檢、人工排查等方式,并通過定期對齊數據副本、副本數據的跨地域容災等手段確保數據的完整性。此外,微信還通過快速拒絕策略、非租約的Paxos、大系統小做以及多副本冗余等方式確保存儲服務在高峰期的可用性,目前,微信核心數據存儲服務的可用性已經達到99.9999%的水平。

對于非常消耗存儲資源的圖片和音視頻文件在微信和微信小程序內應用比例越來越高的問題,騰訊云還在嘗試用更多的技術創新去滿足這些應用對存儲的需求。騰訊技術工程事業群圖片業務技術副總監孫云清表示,騰訊云通過新的圖片壓縮技術和GPU加速技術,幾年時間已經節省了近1T的圖片帶寬;騰訊云通過設置大容量、低成本,且直接跳過了文件系統的緩存處理服務池,大幅減少了應用讀取圖片和音視頻檔案時緩存的拷貝消耗,再結合IO的方式提高并發速度,大幅節省了系統性能,并降低了內存的消耗。此外,騰訊云還充分結合存儲空間利用率優化、路由IP均衡、磁盤內存熱文件緩存等手段全力挖掘系統性能潛力,并充分利用騰訊云平臺上其他閑置資源進行資源彈性調配,不僅讓業務變得透明,也大幅降低了成本。

騰訊云和微信小程序團隊聯合打造的小程序·云開發也封裝了云存儲的能力,提供快速上傳和下載、CDN加速、服務端的對象管理和權限管理等底層云存儲服務。騰訊云對象存儲高級產品經理賀永紅表示,通過小程序+云存儲的結合,小程序可以實現直接讀寫云存儲資源,服務端在管理資源同時還可同步進行AI處理。例如騰訊乘車碼出行小程通過將城市數據遷移上云儲存,實現大業務,小體積;香格里拉智能入住小程序通過和云儲存的結合實現了客戶的快速便捷智能入??;作業盒子小程序通過云存儲的AI識別實現在線作批改。

賀永紅介紹,目前騰訊云在云存儲的可用性、數據可靠性和QPS三大核心指標上分別已經達到99.95%,99.9999999999%和30000的高水準,在業界遙遙領先。

未經允許不得轉載:存儲在線-存儲專業媒體 » 騰訊Techo開發者大會揭曉云存儲發展趨向:高性能、高可用、高性價比
精品国产午夜肉伦伦影院,双性老师灌满浓jing上课h,天天做天天爱夜夜爽,攵女乱h边做边走