“我們正在達到一個與以往都不同的重要轉折點。傳統數據流,是將主存儲幾乎都在在線存儲,拷貝和遷移到標準歸檔和備份設備上。在新型數據流下,人們把速度要求最高的數據放在高速閃存上,實現了對低成本近線數據的高速訪問,基于策略、低成本且具有可擴展性的永久性內容歸檔。”

“這種轉變在技術上產生了對關鍵技術的新需求,我的工作就是將這些新需求變成現實。”Ivan Pittaluga這樣說道。

作為昆騰大數據戰略的代表,StorNext的核心是共享的存儲平臺,高速訪問存儲文件,再加上文件存儲管理以及不同存儲介質之間的分級存儲。

轉型看大數據:昆騰找到自己的節奏

StorNext貫穿整個數據的生命周期,從左到右是數據的產生、獲取、分發和歸檔

最新StorNext 5.0的設計正是也為了符合新型數據流的趨勢。它重新設計了元數據的布局和空間分配,針對固態盤對元數據日志進行優化,提供FSM壓縮/未壓縮的兩級緩存,避免文件系統進程訪問磁盤,更高密度地保存元數據。

此外還有文件碎片跟蹤記錄管理功能、固態盤優化、LTFS磁帶歸檔、InfiniBand支持和重新設計的緩沖機制。按照昆騰的說法,現在Stornext 5.0可以存儲50億個文件,數據規模達到數十PB。

除了可擴展性和性能之外,新型數據流還需要永久數據保留和云存儲的技術,代表產品就是昆騰從14財年第一季度剛剛開始出貨的Lattus對象存儲,其定位是作為高可擴展且的永久性長期磁盤歸檔。

Lattus主要用于保存海量數據,有比較強的擴展能力(100PB以上),可以將數據分布到多個不同地理位置,帶有自我治愈和自我遷移的功能,比傳統RAID使用的磁盤更少,所以成本更低。“對中國客戶來說,很難回答Lattus是否會取代RAID,準確的說它既可以作為RAID的替代品也是一種輔助。”

Lattus是多種技術的結合體:下一代對象存儲,扁平的命名空間,將數據切塊直接存儲各個位置,得到一個key并采用HTTP REST接口;Forward Error correction(FEC)算法把編碼數據的多個副本分布保存到多個存儲節點,這是一項已經運用于通信行業的成熟技術。

此外,Lattus還需要一種智能機制將數據從在線存儲搬到歸檔存儲,層到層的拷貝,從二級存儲到客戶端的直接讀取,二級存儲之間的遷移,以及在線災難恢復數據可訪問。同時,元數據可以分散到不同地理位置,這樣就可以異地更新目錄信息并直接訪問在線存儲的數據。

在大數據概念出現之后,昆騰的StorNext從原來注重單個數據性能開始轉向注重并發整體的數據性能要求,而且加強了高性能工作流以及Hadoop實時處理。

轉型看大數據:昆騰找到自己的節奏

左邊是StorNext,右邊是Hadoop集群,上面橘色的是Lattus云存儲。Hadoop產生在線運算,長期不活躍的數據保存到StorNext,在根據智能策略遷移到Lattus。Hadoop只要通過API就可以直接訪問Lattus上的數據。將來,Hadoop可以將數據直接保存到StorNext主存儲或者直接存到Lattus,也可以通過這兩種路徑直接回取數據

除了硬件之外,昆騰在管理方面也做了針對大數據的設計,提出了所謂的“Mint”——Management Interface。Mint是管理StorNext和其他昆騰產品的統一界面(1.0版本的發布是面向StorNext的),同時也是集成Lattus和Q-disk的開放平臺。

Mint的主要功能包括系統管理、配置、警報、通知和健康檢查;性能監控和儀表;提供關于趨勢、成本使用率、預測和扣款的報告,是針對企業級客戶的Web服務。

總的來看,盡管最新的財報數據有些令人擔憂,但是昆騰正在通過向大數據的積極轉型,調整著發展節奏,并期待借此注入新的增長動力。“昆騰在中國也在慢慢轉型,雖然目前中國大數據業務收入占總收入的20%,但是未來三到五年,我們的投資方向和收入增長將全部放在大數據上。”

未經允許不得轉載:存儲在線-存儲專業媒體 » 轉型看大數據,昆騰找到自己的節奏
分享到

dostor

相關推薦

精品国产午夜肉伦伦影院,双性老师灌满浓jing上课h,天天做天天爱夜夜爽,攵女乱h边做边走