圖1:杉巖數據CTO邱尚高

杉巖數據“最大”的標簽是對象存儲,邱尚高表示,從市場角度而言,當前分布式文件存儲的市場更大,但從場景應用角度方面而言,以5G、大數據、人工智能為代表的新興技術深入行業應用,智能在“端、邊、云”延伸,數據的種類和數量越來越多,企業對數據價值的訴求也更趨強烈,對象存儲因互聯網而生,面對海量數據場景具備天然優勢,逐漸成為大數據時代存儲界的后起之秀。

觀中國SDS市場:對象存儲或將替代文件存儲

對象存儲,業內稱之為第三大存儲類型,其綜合了NAS和SAN的優點,同時具有SAN的高速直接訪問和NAS的數據共享等優勢,提供了高可靠性、跨平臺性以及安全的數據共享的存儲體系結構。

在對象存儲與文件存儲的對比中,特別是在大量文件的并發性能方面,對象存儲比文件存儲要強的多,同時,在系統中存入大量文件后的性能穩定性方面,對象存儲的表現也比文件存儲要強的多。

從技術角度看,由于文件存儲要維護龐大且復雜的文件目錄,當文件數越來越多,目錄越來越復雜,文件存儲的性能就越差。而對象存儲的可擴展性比文件存儲要好的多,對象存儲把文件存在單一命名空間下,采用哈希的查找方式來找文件,效率和性能要高很多,文件數再多也幾乎不影響性能。

邱尚高表示,對象存儲將文件管理規模提升了100倍以上,為大數據海量智能存儲提供底座。對象存儲與文件存儲相比,在新技術的支持上更有優勢,如容器的支持場景,面對容器大規模的劇增,成百上千的POD啟動時執行掛載操作(屬重型操作)對存儲性能提出更高的要求,甚至出現掛載失敗的現象;而使用對象存儲,POD啟動無需掛載存儲,只有在業務訪問文件時,才會跟存儲建立連接,所以在POD批量創建/啟動變得輕松自如。

當然,對象存儲并非能完全取代文件存儲,源于一些特定場景的因素,如HPC場景、個人辦公文件共享場景、老舊業務系統,但也非絕對,未來企業網盤將替換個人辦公文件共享場景,而企業網盤的關鍵技術為對象存儲。

讀第一陣營:探秘杉巖對象存儲的場景化能力

在云計算領域,公有云服務商都不約而同支持對象存儲,對象存儲為公有云提供技術基礎,為數據上云注入技術力量,通過對象存儲提供數據分發、備份、分析等數據存儲服務,提供在互聯網任何位置的數據存儲和訪問服務,提供空間租賃服務等等。對象存儲的應用,能使云上創新順利嫁接到企業私有云環境中,從技術生態來看,對象存儲對于企業IT架構轉型至關重要。

對企業來說,對象存儲能解決用戶使用公有云資源的需求,想搭建混合云架構的需求,想構建數據湖來容納各種數據類型的需求,想做大數據分析挖掘數據價值,想用人工智能賦能業務創新,想使用容器以及云原生技術架構加速業務創新的需求…….在諸多場景中,對象存儲的都能發揮什么的價值呢?

針對諸多應用場景,邱尚高從技術角度解釋了對象存儲的場景化能力。

場景一:數據湖場景

談及數據湖場景,邱尚高表示,對象存儲作為整個數據湖架構的核心要素,承載著企業近乎全部的數據資產。數據湖需要存儲萬億級別的文件數、EB級別的容量,且數據類型不同、資源對接區域不同、應用場景類型不同,數據存儲的壓力非常大。對象存儲采用彈性的分布式架構,靈活對接各類應用,可匯聚不同類型、不同大小的數據資源(包括結構化、半結構化、非結構化數據,大文件、小文件)。

首先,對象存儲的擴展性保證了能存下大量數據;其次,對象存儲的靈活性既能支持傳統應用,也能支持云原生應用;再者,由于與云端采用了一致的對象存儲標準,幫助企業構建了混合云架構的數據底座,幫助企業將公有云的能力延展到企業內部。

數據湖雖未大范圍部署,但優勢顯而易見,前景廣闊。邱尚高認為,數據湖是一個循序漸進的概念,企業不會為了建數據湖而建,數據湖是一張藍圖,數據湖是需要一步步推動的結果。對象存儲的采用,為未來一步步搭建數據湖打下了基礎。

場景二:大數據場景

在談到大數據場景時,邱尚高談到了大數據存算分離的趨勢,究其原因,是在于原來的Hadoop方案升級擴展不夠靈活,計算和存儲必須同時進行,操作難度和運維成本是問題。而有了存算分離后,可以用對象存儲替代HDFS,讓對象存儲和Hadoop獨立擴容和升級,減少了Hadoop新版本升級的障礙。

同時,由于對象存儲采用的是EC糾刪碼和冷熱分層技術來提升磁盤利用率,相比原來HDFS三副本的設定,成本效益非常明顯。而且,相對于只適合大文件的HDFS,對象存儲對小文件也更友好。

場景三:AI/ML場景

在AL/ML場景中,數據準備階段和訓練階段對存儲的需求各不同,杉巖數據對象存儲方案用一套架構滿足了該場景的需求。比如,數據準備階段可能會有大量的圖片和標簽數據,如果都存在文件存儲上,NAS的圖片檢索壓力會很大,如果引入NoSQL,那么架構會更復雜。

在訓練階段,NAS文件存儲在面對海量小文件時的性能壓力可能會成為瓶頸。此外,由于數據準備階段和訓練階段的對應不同的存儲設備,需要進行數據遷移拷貝的操作,費時費力耗空間。有了對象存儲之后,這些問題全都迎刃而解了。

杉巖數據的對象存儲提供AI/ML場景的全生命周期管理,全過程在一套存儲上完成,無需進行任何數據復制拷貝操作。在數據準備階段,可以用標簽來直接檢索圖片。在訓練階段,對象存儲高性能文件網關能解決海量小文件存儲性能的問題。

場景四:智能化、自動化的數據處理場景

很多數據都是先處理后存儲,杉巖數據對象存儲依托智能數據處理引擎,將數據處理能力下沉到存儲系統內部?;诓呗杂|發,自動完成圖片轉碼、視頻抽幀、OCR識別等處理任務。以智能制造為例,杉巖MOS已經幫助UTAC(聯測優特半導體)提升智能質檢效率,通過生命周期管理策略設定,在MOS內部完成質檢圖片的存儲、格式轉換、冷熱分層和過期自動刪除,節省80%存儲空間,大幅降低成本并簡化了業務流程。

杉巖數據的對象存儲能自動將BMP圖片轉化為高壓縮率的JPG圖片,將數據壓縮為原來的四分之一,極大地節省了存儲空間。與此同時,它還提供了自動化的分層和策略化管理,充分利用分布式處理的能力,減少了主機和存儲間的數據搬運,提高了系統運行效率。

此外,邱尚高還提到了對象存儲平臺在原生云OLAP場景上,在IPFS場景方面的優勢。特別是在將OLAP數據庫的查詢條件卸載到存儲,針對IPFS的時空證明專有接口方面所表現出來的性能優勢令人印象深刻。以上多個場景中,都展示出了對象存儲與上層應用垂直優化時,相比傳統存儲的軟硬件垂直優化的優勢,在關鍵性能方面更能達到數量級的提升。

從邱尚高的介紹中能感受到,對象存儲作為基礎架構領域最具發展前景的存儲類型,在許多新的場景中都得到了應用,這與對象存儲本身的靈活可編程的特性有很大關系,當許多創新都圍繞對象存儲展開的話,選擇對象存儲就為未來更多新技術做好了準備。

圖2:杉巖數據對象存儲場景圖

展望未來:對象存儲如同八九點鐘的太陽“嶄露鋒芒”

對象存儲,談起來容易,實現起來并非輕而易舉,在技術特性、軟件功能上需要不斷打磨。作為國內對象存儲市場份額位列第二的杉巖數據,在新技術、新功能、新性能、新應用上不斷加大投入,研發投入已達數億元,這種對產品的“單磕”,使得杉巖數據在對象存儲的技術創新方面獨具優勢。

前不久,杉巖數據2 EB超大規模數據中心存儲項目引起了圈內人士的廣泛關注,這是對杉巖數據技術能力和實踐能力的認同,也是市場對于對象存儲的 認可。

IDC預測,未來5年,對象存儲在中國SDS市場的增長率將達到制高點,5G+AIoT時代,智能存儲應用場景越來越豐富,數據增長規模如“洪流”般兇猛,對象存儲優勢將進一步放大。

邱尚高表示,現階段對象存儲使用率高的行業有金融科技、醫療影像、制造業、智慧交通等,許多行業處在向對象存儲切換的過程中。一些備份軟件、企業網盤、大數據分析應用中把S3作為標準接口,在一定程度上,對象存儲已打開局面。

杉巖數據專注于對象存儲,而非投入更多精力深耕文件存儲,邱尚高表示,杉巖數據的關鍵業務仍以對象存儲為核心,以新一代智能分布式存儲技術為依托,致力于打造云計算、人工智能、物聯網等領域的數據存儲基石,不忘初衷方得始終。對象存儲正值攀登的好時期,如同八九點鐘的太陽,讓我們一同迎接朝霞。

另外,從市場競爭及發展的方向看,杉巖數據正處在快速發展階段,作為中國存儲市場的新勢力,將繼續加強生態建設,以更大的力量為用戶提供“對象”服務,打造更完善的私有云、混合云智能存儲服務。

未經允許不得轉載:存儲在線-存儲專業媒體 » 杉巖數據:對象存儲智能化的探路者
分享到

zhupb

相關推薦

精品国产午夜肉伦伦影院,双性老师灌满浓jing上课h,天天做天天爱夜夜爽,攵女乱h边做边走