繼云計算之后，“大數據時代”這一熱詞成為媒體爭相追逐的焦點。那么，何為大數據，大數據價值幾許?大數據時代又會給業界帶來哪些機遇和挑戰呢?
大數據時代悄然來臨
不是我不明白，這世界變化快12000年還是一張軟盤打天下的時代，短短十多年光景，硬盤的存儲容量已從4GB、16GB、32GB迅速攀升到 1TB。原來僅有1.44MB的軟盤在當時感覺存儲容量還是蠻大的，到現在硬盤容量躥升至1TB了，反而感覺存儲空間捉襟見肘，到底是哪里出現了問題?
大數據!一語驚醒夢中人，大數據時代已經悄然來臨。隨著社交網絡的逐漸成熟，移動帶寬迅速提升，云計算、物聯網應用更加豐富。更多的傳感設備、移動終端接入到網絡，由此產生的數據及增長速度迅速攀升。
一項由UnisohereResearch對531名獨立Oracle用戶進行的調查發現，90%的企業的數據量在迅速上漲，其中16%的企業的數據量每年增長率達到50%或更高。不少企業已經感受到失控的數據增長對績效造成的沖擊，其中87%的受訪者將企業的應用程序性能下降歸咎于不斷增長的數據量。調研機構IDC在2011年6月的報告則顯示，全球數據量在2011年已達到1.8ZB，在過去5年里增加了5倍。
1.8ZB是什么樣的概念呢?首先從二進制上解讀一下，從我們最熟悉的GB開始，1TB(TrillionByte)=1024GB;1PB(PetaByte)=1024TB;1EB(ExaByte)=1024PB;1ZB(ZettaByte)=1024 EB;1YB(YottaByte)=1024 ZB;1BB(BrontoByte)=1024YB。
再來直接形象地形容一下1.8ZB的數據量，如果把所有這些數據都刻錄存入普通DVD光盤里，光盤的高度將等同于從地球到月球的一個半來回也就是大約720000英里。相當于每位美國人每分鐘寫3條Twitter微博，而且還要不停地寫2.6976萬年，是不是很恐怖?這還不是最恐怖的，IDC還預測全球數據量大約每兩年翻一番，2015年全球數據量將達到近8ZB，到2020年，全球將達到35ZB。
所謂的大數據最直白的理解是海量數據，通常用來形容一個公司創造的大量非結構化和半結構化數據，這些數據在下載到關系型數據庫用于分析時會花費很多時間和金錢。調研機構IDC認為，某項技術要想成為大數據技術，必須滿足IBM所描述的三個“V”條件，即多樣性(Variety)、大容量 (Volume)和時效性高(Velocity)。多樣性是指數據應包含結構化的和非結構化的數據;大容量是指聚合在一起供分析的數據量必須是非常龐大的;時效性高則是指數據處理的速度必須很快。
大數據中的大價值
現在有很多通過大數據分析受益的經典案例。在科研民生領域，美國的海嘯預警系統一直為人們津津樂道，去年3月11日日本大地震發生后僅9分鐘，美國國家海洋和大氣管理局(NOAA)就發布了詳細的海嘯預警。隨即，NOAA通過對海洋傳感器獲得的實時數據進行計算機模擬，制作的海嘯影響模型便出現在 YouTube等網站。大數據分析在指導人們有效規避自然災害面前發揮了很大的作用。
而在商業領域，eBay則很好地起到了示范作用。eBay定義了超過500種類型的數據，對顧客的行為進行跟蹤分析，每天處理的數據量高達100PB，通過準確分析用戶的購物行為，達到了減少廣告投入、穩定高端賣家、實現持續增長的目的。
通過上述兩個案例不難看到，大數據分析的價值是非常大的。伴隨著傳統的商業智能系統向縱深應用的拓展，企業也逐漸步入到大數據時代。傳統的標準化、結構化的數據只占到15%左右，85%的數據來源于廣泛存在于社交網絡、物聯網、電子商務等中的非結構化數據。這些非結構化數據的產生往往伴隨著社交網絡、移動計算和傳感器等新的渠道和技術的不斷涌現和應用。
企業用來分析的數據越全面，分析的結果就越接近于真實，因此，大數據具有很大的商業價值。大數據分析是企業在未來發展過程中必須面對的，大數據分析意味著企業能夠從這些新的數據中獲取新的洞察力，并將它與已知業務的各個細節相融合。只有那些能夠運用這些新數據形態的企業，方能打造可持續發展的競爭優勢。
淘金大數據時代
云計算和大數據是2012年IT業界密切關注，且又最為火熱的兩大關鍵詞，對于嗅覺相當靈敏的IT業界，很多企業早已嗅出了商機。以投資 Facebook而聞名的風投公司AccelPartners認為：大數據是信息技術未來發展的戰略走向，將催生下一代價值數萬億美元的軟件企業。
大數據跟普通數據一樣，從產生到處理，再到價值提取，再到最后被消費掉，都有一個過程，每個步驟中都存在著不同的商業需求，目前已經有企業開始深耕細作或正在跑馬圈地。
首先是雅虎的大數據系統Hadoop，它已經在大數據時代嶄露頭角，因它提供了廉價的大數據分析處理功能，從而被業界冠以打開數據之門的金鑰匙。 Hadoop能將大數據分解成多個子問題，將它們分配到成百上千個處理節點之上，能夠在最短的時間內處理海量的數據，最后再將處理結果匯集到一個小數據庫集中，從而更容易分析并得出最后的結果。Hadoop已經成為AOL、Facebook和Twitter這些公司進行大數據分析的主要提供商。一批著名的大企業如谷歌、雅虎、JP摩根大通等，也成功利用Hadoop開發出了開源的大數據管理系統。不僅如此，微軟也向Hadoop拋出了橄欖枝，并且決定將 Hadoop作為自身大數據戰略的核心。Hadoop的明星范兒，讓人們看到了Hadoop在解決大數據難題時的巨大潛力。
其次，IBM憑借在硬件與軟件方面的優勢，提供端到端、整體的大數據解決方案。此外，在數據存儲、分析等領域有著傳統優勢的廠商，如惠普、甲骨文等公司，在大數據分析領域也有著明顯的優勢。2011年10月，甲骨文發布了新版NoSQL數據庫企業版，這是運行于Hadoop之上的大數據軟件之一。除了花大力氣開發自有技術，更多的企業希望通過合作與并購的方式來迅速彌補技術鏈條上的不足。微軟宣布與Hortonwork公司建立新的合作伙伴關系，后者致力于Hadoop開發。為了增強非傳統數據分析的能力，Teradata收購了Aster Data公司。在2011年，面對高速增長的大數據分析，IBM提出了“智慧的運算”，其內容包含大規模數據整合、優化的系統，以及云計算等新興服務交付模式。伴隨著全新的zEnterprise 114大型機產品的發布，zEnterprise System企業級大型機已經作為“系統中的系統”來全面實現“智慧的運算”。
最后回頭再來看看微軟為業界帶來的SQL Server 2012。SOL Server 2012著眼于企業不斷增長的大數據、多樣化分析需求，以打造一個能夠處理大數據和智能的云平臺，幫助企業形成一種可執行的洞察力，解決數據飛速增長這一難題。
剛剛發布的SQL Server2012，相比以前的版本主要有如下三項重大的更新：一是能夠更好地支持大規模關鍵應用，通過AlwaysOn集成高可用的災難恢復解決方案，幫助企業大大減少計劃性停機和非計劃性停機時間，為大中小企業提供最強的支持;二是更為強大、靈活的分析，通過PowerView和 PowerPivot實現快速的數據發現，基于Excel的PowerPivot讓用戶可以方便地連接不同的數據源和對數據進行混搭，PowerView 則允許用戶使用拖曳式界面進行數據瀏覽;三是按需而“云”，全面支持云技術與平臺，能夠快速構建相應的解決方案，實現私有云與公有云之間數據的擴展與應用的遷移，保證傳統應用、私有云、公有云協同工作的靈活性。SQL Server 2012支持靈活的遷移應用，從傳統應用到虛擬化部署，使用戶可以根據需要自由拓展，按需而“云”。
擁抱大數據時代
當大數據時代大步向我們走來的時候，企業有足夠的準備來迎接這場革命嗎?面對洶涌而來的大數據時代，從目前的態勢來看，由于大數據的技術門檻較高， 在大數據領域展開競爭的IT公司，大都仍然是在數據存儲、數據分析等領域有著傳統優勢的廠商。而對于其他IT廠商，盡管也意識到了大數據時代的淘金價值， 但是無論是土壤、理念，還是技術、市場層面，都還任重而道遠。
第一，大數據的急劇蔓延使得企業在存儲架構方面逐漸面臨著史無前例的考驗，由此引發了數據倉庫、數據挖掘、商業智能、云計算等應用的一連串連鎖反應。
第二，網絡帶寬急待升級。中國平均網速不到全球一半，帶寬過小勢必會成為大數據時代的瓶頸，升級帶寬是目前面臨的最迫切的問題。
第三，無處不在的大數據安全問題。2011年CSDN等網站大規模的數據泄露給業界上了生動的一課，如何保證大數據的安全性是又一只橫亙在大數據時代發展路上的攔路虎。要通過技術的、行政的、法律的手段，全面阻擊不正當應用和新型知識犯罪。
第四，大數據分析人才緊缺;大數據是海洋，分析工具是輪船，而分析人才則是舵手。只有通過掌握了分析工具的人才指引，大數據分析才能抵達成功的彼岸。目前，大數據分析門檻高，分析人才稀缺是不言的事實。
第五，大數據時代的數據學的理論和方法將改進現有的科學研究方法，形成新的科學研究方法，并且針對各個研究領域開發出專門的理論、技術和方法，從而形成專門領域的數據學，例如行為數據學、生命數據學、腦數據學、氣象數據學、金融數據學、地理數據學等。
大數據時代不但會對IT業界甚至會對整個人類社會產生巨大且意義深遠的影響，大到國家治理、企業決策，小到個人生活服務，都會因大數據而改變。數據的大航海時代已經來臨，唯有揚帆應變才是正途……
