大數據，一種新興的數據挖掘技術，它正在讓數據處理和分析變得更便宜更快速。大數據技術一旦進入超級計算時代，很快便可應用于普通企業，在遍地開花的過程中，它將改變許多行業業務經營的模式。但是很多人對大數據存在誤解，下面就來縷一縷大數據與Hadoop之間的關系。
我們都聽過這個預測：到2020年，電子數據存儲量將在2009年的基礎上增加44倍，達到35萬億GB。根據IDC數據顯示，截止到2010年，這個數字已經達到了120萬PB，或1.2ZB。如果把所有這些數據都存入DVD光盤，光盤高度將等同于從地球到月球的一個來回也就是大約 480,000英里。
對于那些喜歡杞人憂天的人來說，這是數據存儲的末日即將到來的不祥預兆。而對于機會主義者們而言，這就好比是個信息金礦，隨著技術的進步，金礦開采會變得越來越容易。
走進大數據，一種新興的數據挖掘技術，它正在讓數據處理和分析變得更便宜更快速。大數據技術一旦進入超級計算時代，很快便可應用于普通企業，在遍地開花的過程中，它將改變許多行業業務經營的模式。
在計算機世界里，大數據被定義為一種使用非傳統的數據過濾工具，對大量有序或無序數據集合進行的挖掘過程，它包括但不僅限于分布式計算(Hadoop)。
大數據已經站在了數據存儲宣傳的風口浪尖，也存在著大量不確定因素，這點上非常像“云”。我們請教了一些分析人士和大數據愛好者，請他們解釋一下大數據究竟是什么，以及它對于未來數據存儲的意義。
大數據走進歷史舞臺
適用于企業的大數據已經出現，這在部分程度上要歸功于計算能耗的降低以及系統已具備執行多重處理的能力這樣一個事實。而且隨著主存儲器成本的不斷下降，和過去相比，公司可以將更多的數據存到存儲器中。并且，將多臺計算機連到服務器集群也變得更容易了。這三個變化加在一起成就了大數據，IDC 數據庫管理分析師Carl Olofson如是說。
“我們不僅要把這些事情做好，還要能承受得起相應的開支”，他說。 “過去的某些超級計算機也具有執行系統多重處理的能力，(這些系統緊密相連，形成了一個集群)但因為要使用專門的硬件，它的成本高達幾十萬美元甚至更多。”現在我們可以使用普通硬件完成相同的配置。正因為這樣，我們能更快更省得處理更多數據。"
大數據技術還沒有在有大型數據倉庫的公司中得到廣泛普及。IDC認為，想讓大數據技術得到認可，首先技術本身一定要足夠便宜，然后，必須滿足IBM稱之為3V標準中的2V，即：類型(variety)，量(volume)和速度(velocity)。
種類要求指的是待存儲數據的類型分為結構化數據和非結構化數據。量是指存儲和分析的數據量可以很龐大。 “數據量不只是幾百TB，”
Olofson說： “要視具體情況而定，因為速度和時間的關系，有時幾百GB可能就算很多了。如果我現在一秒能完成過去要花一小時才能完成的300GB的數據分析，那結果將大為不同。大數據就是這樣一種技術，它可以滿足這三個要求中的至少兩個，并且普通企業也能夠部署。”
關于大數據的三大誤解
對于大數據是什么以及大數據能干什么存在很多誤會。下面就是有關大數據的三個誤解：
1、關系數據庫無法大幅增容，因此不能被認為是大數據技術(不對)
2、無需考慮工作負載或具體使用情況，Hadoop或以此類推的任何MapReduce都是大數據的最佳選擇。(也不對)
3、圖解式管理系統時代已經結束。圖解的發展只會成為大數據應用的攔路虎。(可笑的錯誤)
大數據與開源的關系
“很多人認為Hadoop和大數據基本上是一個意思。這是錯誤的，”Olofson說。并解釋道： Teradata, MySQL和“智能聚合技術”的某些安裝啟用都用不到Hadoop，但它們也可以被認為是大數據。
Hadoop是一種用于大數據的應用程序，因為它是建立在MapReduce基礎上的，所以引起了極大的關注。(MapReduce是一種用于超級計算的普通方法，之后經過了主要由Google資助的一個項目的優化，因此被簡化并變得考究了。) Hadoop是幾個緊密關聯的Apache項目組成的混合體的主要安裝啟用程序，其中包括MapReduce環境中的HBase數據庫。
為了充分利用Hadoop和類似的先進技術，軟件開發商們絞盡腦汁研發出了各種各樣的技術，其中很多都是在開源社區里開發出來的。
Olofson 說“他們已經開發出了大量的所謂noSQL數據庫，種類之多讓人眼花繚亂，其中大部分都是鍵值配對數據庫，能利用多種技術對性能或種類或容量進行優化。”
開源技術還沒有得到商業支持。“所以在這方面還需要經過一段時間的發展完善，這一過程可能需要幾年?；谶@個原因，大數據可能需要一些時日才能在市場上走向成熟”他補充道。
據IDC預計，年內至少有三家商業公司能以某種方式給予Hadoop支持。同時，包括Datameer 在內的幾家企業將發布配有Hadoop組件的分析工具，這種工具能幫助企業開發自己的應用程序。Cloudera和Tableau公司的產品清單里已經出現了Hadoop。
