標識了屬性的XML格式的文檔,增刪改查都很方便

相對應的非結構化數據就是沒什么格式的數據,比如一段在線聊天記錄,比如一張圖片,比如一個文檔,這就是非結構化數據,人或許很輕易看得懂,但機器就覺得很混亂。如果說結構化數據是大小統一形狀規則的集裝箱的話,那么非結構化數據就好比積木,大小不一,沒什么固定格式,沒什么規律可循,帶來的問題是想找特定的內容速度會很慢,進行格式轉化就很麻煩,而且量非常大,需要在大的空間內存放這些數據。

如果把裝結構化數據的容器比作精巧的糖果盒的話,裝非結構化數據的容器就好比大水桶(恰巧對象存儲的一個重要概念就是Bucket)。

企業環境里,這種麻煩的非結構化數據非常多,IDC說,會越來越多,未來的企業里,80%的數據都是非結構化數據。企業需要對現有存儲架構作調整,于是,為互聯網應用而生的對象存儲也開始用在企業環境中,用對象存儲解決擴展性、管理性、訪問性、經濟性等方面的要求。

從我們日常工作生活中的習慣也能明顯感受到,非結構化數據的量明顯高于架構化數據。你或許也聽說過企業級市場上的對象存儲,但到底哪些場景需要用到非結構化數據呢?

企業用對象存儲的九大場景

日前,在一次關于QingStor對象存儲的媒體溝通會上,青云QingCloud資深產品經理 李威介紹了許多需要對象存儲的場景以及一些實際落地的對象存儲案例。

一個場景是電商、互聯網金融、在線教育等行業的Web和移動應用,架構里有數據庫、應用服務器、負載均衡的應用,另外還需要存儲比如商品圖片,互聯網金融行業的用戶證件照,在線交易視頻等文件等,需要存儲,此前的做法是搭建文件服務器,文件服務器的擴展性、并發性都有問題,這時候就需要用到對象存儲。

第二個場景是企業網盤,其后端就是對象存儲。企業網盤不是偽命題,以青云為例,遍布各地的各個部門文檔都在用企業網盤,分享和管理文件,企業網盤可以非常容易地分享給特定的個人,群組或部門。企業網盤是單獨的市場,與個人網盤有很大區別,企業對訪問權限認證的管理更細致,數據管理要求更高。

第三個場景是靜態網站托管,比如企業網站。靜態網站可以直接托管在對象存儲里,對接CDN加速異地訪問體驗。小規模的網站需要更新時,把文件更新到對象存儲相應的目錄里就可以了,筆者所在的存儲在線網站上存儲圖片技術就是對象存儲技術。

第四個場景是做大數據分析的存儲空間。大數據分析首先要解決數據存儲的問題,許多企業尤其是傳統行業,都只是把數據存起來但不知道怎么用。此前的存儲架構對外部訪問不友好,做大數據分析還要解決數據訪問的問題,而對象存儲能很好地支持大數據系統,在做比如輿情分析、互聯網金融風控、BI報表、3D建模,都能提供幫助,幫助用戶做數據分析。

第五個場景IaaS/PaaS服務。企業云化一定會用到對象存儲,青云認為對象存儲是一個存儲引擎,覆蓋IaaS到SaaS的各個層面,比如IaaS的鏡像備份、數據庫日志備份都能用對象存儲,對象存儲還能用做同城或者異地災備,還能用來存放Docker鏡像等。

第六個場景是圖片處理。進行簡單的翻轉、剪裁等操作,高級點的還有圖片鑒黃功能,其中,鑒黃功能就是一種第三方服務,這顯示出青云的對象存儲還能方便地接入第三方的處理能力,支持這中能力的是事件驅動框架。從根本的技術上來講,我們也可以將這種方式視作對象存儲的一種靈活性,靈活的訪問到存儲的數據然后做加工處理。

第七個場景是視頻云。許多行業客戶包括電力行業、交通行業、建筑行業,都有大量的視頻,存儲需求很大,傳統存儲成本造價太高,存儲后的檢索、點播能力較差,對象存儲在這一領域也有很大應用空間。

第八個場景是備份歸檔,傳統的存儲也會做備份歸檔,把企業的郵件、日志通過備份工具備份出來,對象存儲在這一部分與歸檔存儲工具有部分重合,不過,對象存儲的訪問能力要比傳統的備份系統要好的多。

第九個場景是數據遷移。用戶可以從一個對象存儲遷移到另外一個對象存儲節點區域,以青云對象存儲節點為例,可以在上海區和北京區兩個節點之間相互遷移,作為遠程備份滿足企業同城或者異地災備的需求。

這些需求的帶動下市場發生著顯著的變化,IDC的數據顯示,企業級數據中的80%是非結構化數據,而75%將會存儲到對象存儲之上。青云QingStor對象存儲研發總監楊錦濤認為,企業對象存儲市場是藍海市場。因為對象存儲在企業級存儲市場中相對較新,競爭程度相對較低。

在與客戶實際交流中發現,對象存儲正在為企業所接受,而且青云也有多落地案例。

青云的對象存儲咋樣?

青云的對象存儲產品是一個針對海量非架構化數據的企業級分布式存儲平臺,有軟硬一體的私有化部署模式,也支持公有云和混合云方式使用,支持包括Http,RESTFul API,NFS,FTP,當然還有業界標準的S3等方式訪問,基于對象存儲,青云提供了API和SDK來支持上面提到的九大場景。

對象存儲平臺中,一個很重要的技術是事件驅動框架,有了事件驅動框架之后對象存儲可以接入各種各樣的數據處理服務,青云把事件驅動框架包裝在對象存儲產品里后,開創性地以私有云的形式交付,有了多種應用功能之后的對象存儲平臺就不單單是數據平臺了,應該叫數據服務平臺。

青立方是青云的硬件方案

青云QingCloud QingStor對象存儲研發總監 楊錦濤介紹了對象存儲的部署案例。

國內某大省的交通集團要做高速網絡的精確計費,在各高速路口對車輛進行拍照收集信息,每天車流量是200萬輛,每天產生照片400萬張,照片就存在QingStor對象存儲的公有云上,然后做數據處理、分析和圖像做識別,識別出車牌及駕駛人員的信息,識別結果用于計費,也可為公安及其它機構所用。

國內數一數二的保險公司要做一個統一的非結構化數據的數據湖,用于存儲遍布全國的分公司產出的各種數據,將數據集中起來進行統一分配、管理,利用大數據技術挖掘價值,這家大型公司有多個場景都改用對象存儲了:

一個是把原來存在公有云上的數據遷移到私有云對象存儲環境;

一個用QingStor對象存儲取代原來的NAS,保單數據,歸檔郵件、OA系統后端的存儲、備份和日志等數據全部通過存儲網關對接到QingStor對象存儲;

用QingStor對象存儲的企業網盤替代原來的FTP文件分享;

用到Elasticsearch(專門的搜索平臺)對歸檔的郵件進行搜索(基于事件驅動框架做的)

用對象存儲支持保險行業特有的雙錄視頻,國家政策要求保險業務員在辦理保險的時候,需要錄視頻,而且這些視頻需要長期保留,而且需要查詢和取證;

用對象存儲支持Hadoop、Spark開源項目做大數據分析;

某國內著名酒廠有遍布全國的分店,全國有幾十萬個終端,每天會產生幾百萬張圖片和陳列柜的短視頻。青云用對象存儲首先存儲這些數據,然后再做裁剪縮放和音視頻的傳碼等操作。

某工業物聯網行業用戶要做端到端的大數據分析平臺,業務場景包括:實時的數據分析、BI統計分析、全量歷史大數據分析。案例中的客戶全國范圍內有18個工廠,每個工廠有5000個數據采集點,每天傳輸63GB,18 個工廠每年產出405TB數據。

工業物聯網產生數據相對碎片化,除了對象存儲以外還需要許多別的技術,比如數據采集用到了杭州小莉科技的EMQ,數據分析用HashData的數據倉庫,數據傳輸用Kafka,日志收集用Logstash。對象存儲可以很好的對接和支持這些服務。

以上就是青云對象存儲的一些實際應用情況。

結語

從市場觀察來看,對象存儲在企業級市場仍處于開始階段,更多的對象存儲還只在公有云服務商的云端,青云首先是一家公有云服務商,同時也是極少數把對象存儲做到企業級內部的服務商。

青云腳踩公有云和私有云的兩條船帶來獨特優勢,用一個界面管理云,對于混合云環境的企業用戶有很大吸引力。對公有云廠商來說,對企業級存儲市場服務欠缺了解,缺少服務能力,對于企業級存儲市場的玩家來說,又缺少在對象存儲市場的積累,而且沒有公有云作對接,少數投入對象存儲的外國企業也因為自主可控的原因面臨諸多問題,市場給青云這樣比較新的服務商留有很大機會。

未經允許不得轉載:存儲在線-存儲專業媒體 » 瞧,青云幫你總結了企業級對象存儲的九大應用場景
分享到

zhupb

相關推薦

精品国产午夜肉伦伦影院,双性老师灌满浓jing上课h,天天做天天爱夜夜爽,攵女乱h边做边走