內存計算聚焦大數據發展熱點

　　數據是科技領域飛速發展的產物，而大數據正在開啟一次重大的時代轉型。隨著計算機技術和網絡技術的快速發展，如今，半結構化、非結構化數據大量涌現，數據的產生已經不受時間和空間的控制。為此，數據的處理需要向著更為高級、智能的方向邁進，大數據處理與高層計算模式的混合成為業界的發展熱點。

　　隨著應用互聯的開展，傳統孤立的數據處理模式變得難以為繼，大數據技術的推廣將數據處理變成更為綜合、全面的混合技術。由于企業對數據關注已經從存儲轉向更為深入的查詢、分析、價值挖掘，企業的數據處理方式得到了更為為深入的運用。例如企業每天不僅要接收大量的流式數據，將其作為歷史數據保存后還要利用各種數據庫進行查詢分析。為了獲得更加有效的BI能力，基于機器學習的深度數據挖掘分析成為必須，這就要求大數據處理系統可以提供線下批處理計算模式以及復雜機器學習算法的迭代計算模式。

　　為了提高各種計算模式處理大數據時的計算性能，大數據處理技術正在傾向依靠于內存計算模式混合，實現高實時性的大數據查詢和計算分析。尤其在《國家高技術研究發展計劃（863計劃）》中，明確提出了“面向大數據的內存計算關鍵技術與系統”的創新要求，其中包括異構混合內存體系結構研究與開發、內存計算系統軟件研究與開發、基于內存計算的并行處理系統研究與開發、基于內存計算的數據管理系統研究與開發四項。

　　宋懷明介紹，其本人也主持了863的內存計算課題，也聯合了一些高校和科研院所一起合作，參與到內存計算中?；趯park的研究，中科曙光不僅有了自主研發的內存計算模塊，內存計算技術的發展也是緊密關注的。

　　Hadoop的技術的大量落地

　　除了內存計算，Hadoop的誕生和所構建成的生態系統給也在大數據的存儲、處理和分析利于占據了更為有利的位置。Google、Yahoo!、微軟、亞馬遜以及BAT等國內外互聯網巨頭都是Hadoop的擁躉。為此，Hadoop技術早已在曙光立足。“曙光造在2011年成立了Hadoop的研發團隊，如今曙光Hadoop已經發展到第三版。” 宋懷明介紹。

　　郭慶具體介紹了曙光在Hadoop利用方面的情況。“Hadoop的技術發展前期是以離線計算、批處理計算為主，這幾年MapReduce開始用于日志的處理，HBase用檢索數據庫進行查詢。已經從實驗走向生產系統，曙光參與的項目里都有落地的案例，而且大的規模已經到PB級。”

　　曙光公司通過XData大數據一體機、XData-Hadoop 大數據處理軟件等自主可控的創新產品,從數據收集、數據存儲、數據分析、數據應用等方面構建了完整的大數據生態。

　　即使有完善的大數據解決方案，但曙光公司并不想做到事事親為。“曙光的專注點就在于數據的存儲和處理，市場化主要是跟廣大的應有廠商合作，通過標準的數據訪問接口支撐多個行業應用開發，推動行業應用落地。” 宋懷明介紹。