圖一:Garnter著名的技術發展規律周期(Hype Cycle)圖,每項技術的發展過程均可分為五個階段:上升期、快速發展期、下降期、爬坡期和穩定應用期,當前大數據異?;鸨?,正在快速發展期。

大數據時代下的基礎架構挑戰

毫無疑問,大數據時代下,要想實現更大的業務價值,首先需要解決的就是基礎架構問題,基礎架構之中存儲又是重中之重。當前趨勢下,社交媒體、移動互聯網、物聯網、多媒體應用等趨勢興起使得非結構化、半結構化數據大幅增長,加上傳統的結構化數據增長,用戶的整體數據量呈現出海量、高增長的狀態。如何面對數據源繁多、數據增長速度快速、數據種類豐富化、數據存取形式復雜化以及應用需求多樣化就成為當前大部分用戶首要面對的挑戰和難題。

圖二:全球知名調研機構IDC公司 對全球數據增長以及數據類型分布情況的調研與預測,未來幾年,數據增長會越來越快,其中非結構化、半結構化數據所占比重將會越來越大。

著名咨詢機構麥肯錫認為,大數據是指其大小超出了典型數據庫軟件的采集、存儲、管理和分析等能力的數據集。大數據公認的4V特征包括:容量、類型、速度以及價值(volume、variety、velocity和value)。著名調研機構IDC對于大數據技術定位為:通過高速捕捉、發現和/或分析,從大容量數據中獲取價值的一種新的技術架構。另外一方面,我們也可以發現當前對于大數據的一個誤區廣泛存在于用戶之中:當前仍然有很大一部分用戶認為新興起的Hadoop技術、商業智能分析(BI)這些就意味著大數據,他們認為掌控好Hadoop或者BI即可掌控大數據。事實上,大數據不僅僅是Hadoop或者商業智能分析,這些熱門技術是大數據分析和處理過程中當前熱門的領域,而要想真正實現大數據的價值、為業務發展服務,則需要從全面的角度考慮,比如:大數據不僅僅是海量小文件數據,那些容量巨大的文件數據同樣屬于大數據的范疇,你的基礎架構是否同時能夠快速、有效地應對不同類型、大小的文件數據的存儲、分析與處理呢?因此,對于用戶的基礎架構而言,在容量足夠大的數據存儲需求前提下,首先需要更高的速度和存儲效率來滿足海量數據存儲,從而可以滿足多樣性的數據要求,最終實現大數據存儲的價值。


 
圖三:大數據公認的4V特征:容量、類型、速度以及價值,大數據這四個特征使得傳統基礎架構已經無法應對,要想實現價值這個環節,首先需要在基礎架構上做好充足的準備。

圖四:計世資訊2012針對大數據應用需求的調查,在目前企業數據系統架構中主要存在著擴展性差、資源利用率低、應用部署復雜、運營成本高等問題。

因此,傳統存儲產品由于自身的設計缺陷,在擴展性方面、與上層應用集成度、高性能、自動化能力、成本等方面已經很難滿足大數據諸多的存儲特征,根本很難肩負起企業大數據存儲、分析以及應用的諸多需求。尤其當前數據的類型豐富程度、容量愈發變大的情況下,并且在業務部門跟IT日益緊密的趨勢下,對于數據的存儲與分析的速度和性能要求越來越高,對海量數據的快速、高效存儲絕對應該是大數據時代存儲系統的第一必備要求,否則大數據后續相關的數據分析、處理都將成為空談。對于用戶而言,尋求符合大數據時代下全新需求的存儲產品就成為大勢所趨。據悉,華為將于9月2號在上海世博中心舉辦云計算大會,其中海量存儲分論壇將于9月2號下午召開,該分論壇將重點討論大數據存儲發展趨勢和行業洞察。參會者將能了解到華為大數據存儲戰略以及大數據技術在石油、衛星測繪等行業領域的應用,對于國內想了解大數據存儲相關內容的用戶將會是一次難得的良機。

看清大數據趨勢 不再霧里看花

在大數據時代下,大數據存儲產品顯然要比傳統存儲產品考慮更多因素,目前市場中已經有很多專門為大數據應用設計和開發的存儲系統,這其中包括國內和國外諸多廠商的產品。雖然有很多產品可供大家參考和選擇。但是對于用戶而言,能夠看清大數據基礎架構的發展趨勢,則可在基礎架構建設方面不再霧里看花。

趨勢一:容量大、易擴展。眾人皆知,大數據的容量往往是PB級別,甚至有些用戶的數據量開始達到EB級別,這要求未來的存儲系統能夠具備容量大、易擴展的特點。

趨勢二:高性能。大數據的一大特征即為速度,要求存儲系統能夠快速存儲數據,因此這要求存儲系統的響應速度能夠符合大數據的要求。

趨勢三:多集成。大數據時代下,數據來源廣泛與復雜,不同類型的數據訪問、處理和分析的方式不同,這就要求大數據時代下存儲系統的接口集成化,使得大數據存儲系統能夠應對不同的數據需求。

趨勢四:自動化。由于大數據使得數據量大幅增加以及數據處理流程、方式更加復雜,給存儲系統的管理、維護變得更加復雜。因此,管理自動化也是衡量大數據存儲系統的重要趨勢。

趨勢五:安全可靠。大數據最為核心的價值所在即為數據,因此確保數據的安全可靠也是大數據存儲需要重點考慮的因素。保證數據的可用性、完整性和持久化都是未來存儲系統所必備的趨勢。

趨勢六:彈性成本。大數據并不意味著用戶必須要在基礎架構上一次性投入大額成本,具有彈性、可擴展的存儲系統能夠幫助用戶實現彈性成本,讓不同層面的用戶都能在大數據浪潮中淘金。

綜述

追本溯源,在大數據時代下,我們往往不能只將眼光盯在數據分析與處理層面,用戶在嘗試大數據解決方案之前,更應從全面角度去審視自身的基礎架構是否適合大數據未來的需求與發展——大數據實踐,基礎架構先行。只有如此,方能在大數據浪潮之中淘得金!

未經允許不得轉載:存儲在線-存儲專業媒體 » 大數據實踐 基礎架構先行
分享到

renxinbo

相關推薦

精品国产午夜肉伦伦影院,双性老师灌满浓jing上课h,天天做天天爱夜夜爽,攵女乱h边做边走