圖一:華東師范大學云計算與大數據研究中心主任、海量計算研究所所長周傲英教授發表演講。

周傲英表示數據系統往往應用在關鍵應用上,價格也較為昂貴。高性能數據系統主要可以分為四類:第一類是數據庫機器,典型代表就是Teradata、Exadata等機器;第二類是無共享并行系統,代表就是DB2/PE,Hadoop以及Aster;第三類則是內存/事務型系統,代表有HANA、TimesTen以及OceanBase等;最后一類則是分析型系統,代表則是Hadoop、Aster以及Greenplum。

圖二:高性能數據系統的本質。

圖三:并行數據處理歷史。

周傲英認為數據系統或者大數據一個繞不開的話題就是Hadoop。他表示像Google和Amazon等互聯網公司具有大量的非結構化數據,這些非結構化數據的價值并不確定,如果采用購買商用機器的方式將會非常昂貴,所以這些用戶采用了Hadoop來構建廉價的系統。

圖四:Hadoop是一個繞不開的話題。

根據介紹,在Hadoop誕生之前,Google公司在2003年發表了GFS(Google File System)系列論文,Jeffrey Dean等在2004年和2006年又分表發表了Mapreduce論文和BigTable論文。自此,奠定了Hadoop的發展基礎。

圖五:Hadoop的誕生。

周傲英教授認為Hadoop是一個可以更容易開發和存儲大規模數據的軟件平臺,幫助用戶快速、低成本地實現大數據的存儲、管理及分析查詢。Hadoop的關鍵在于MapReduce和HDFS,MapReduce可以實現高性能分布式并行數據處理,HDFS則提供可靠數據存儲服務,低廉MPP,高容錯,高通量以及可伸縮等特性功能。

圖六:Hadoop不等于大數據。

周傲英表示,Hadoo雖然有很多優點,但并不等于大數據。Hadoop在MapReduce過程中仍然無法控制實時時間,所以在實時事務處理的時候還是沒有數據庫更強。

 

圖七:周傲英教授認為大數據應該進行分類,他認為大數據主要有Web數據、決策數據以及科學數據。

周教授表示在大數據時代下,應用需求在變化、應用環境的變化、硬件的變化、體系結構的變化、計算環境的變化使得數據系統重新面對的。

圖八:SQL、NoSQL以及NewSQL的對比。

最后,周教授表示傳統數據庫的研究理念和方法在大數據環境下仍然有指導意義和參考價值,大數據研究是應用驅動的, 國內在大數據時代中充滿機會。

未經允許不得轉載:存儲在線-存儲專業媒體 » HPC China2013:高性能數據系統回顧和展望
分享到

shaolong

相關推薦

精品国产午夜肉伦伦影院,双性老师灌满浓jing上课h,天天做天天爱夜夜爽,攵女乱h边做边走