Scistor BDMS軟件架構
   
上圖可見,Scistor  BDMS 賽思大數據管理系統架構分為四層。最底層為數據管理平臺,負責完成數據存儲與計算。其中ddfs采用的是賽思自主創新的高效數據消冗引擎,即賽思消冗技術。賽思消冗技術結合了定長分塊技術和變長分塊技術的優點,形成了文件感知消冗技術,一方面占用少量系統資源,另一方面達到很好的消冗效果;檢索引擎主要負責完成實時查詢與全文檢索,賽思檢索引擎支持多種檢索模式,一份數據既支持實時查詢,也支持離線分析,還支持全文檢索和MR并行計算;分析引擎主要負責數據離線分析;分布式計算引擎采用share-nothing架構,負責系統并行計算,實現并行計算編程模型和運行時框架,從而為數據分析層提供強大的計算能力。

 第二層為數據分析層,主要基于數據管理平臺提供的數據進行存儲與計算,在此基礎上完成數據的分析挖掘。第三層為數據展示層,該層主要為用戶提供經過檢索、分析后數據的在線展示,包括報表、趨勢等多形態效果展示。最上層為應用結合層,Scistor BDMS提供多種二次開發接口,可以針對客戶不同業務應用定制不同的模板,形成具有各行業特色的大數據應用整體解決方案,滿足各行業用戶應用的不同需求。

Scistor BDMS賽思大數據管理系統與市場上幾款主流國外廠商的大數據產品相比,還具有以下特點:

較原有Hadoop系統,Scistor BDMS與Oracle數據庫很方便的結合。原有Hadoop支持簡單的sql語句查詢,基本為K-V查詢。BDMS查詢語義更為豐富,支持絕大多數標準SQL語句,支持組合查詢,支持模糊檢索,支持聚合查詢等;

Scistor BDMS可支持MapReduce分布式計算框架;

原有Hadoop系統中不同組件,存放數據格式不一致,而Scistor BDMS存儲格式統一,在一份數據上Scistor BDMS同時可支持實時查詢,離線分析,全文檢索及MapReduce計算等;

支持的檢索模式豐富,除了Hadoop的KV型檢索,還支持多維檢索、模糊檢索、正則表達式檢索;

原有Hadoop組件Hive支持SQL語義稍微豐富點,但性能極低,Scistor BDMS支持SQL語義豐富,而且查詢性能極高;

融合了賽思的消冗技術,對數據存儲空間利用率及數據處理效率有比較明顯的提高;

Scistor BDMS對小文件存儲進行了優化,可以支持億級海量小文件高效的存放與讀取。

Scistor BDMS賽思大數據管理系統可廣泛應用于政府、商業智能、金融、能源、互聯網/物聯網、教育科研、醫療衛生、智能交通、智慧城市等諸多領域。在這些應用中該系統首當其沖的可以解決其激增的多源異構數據的統一存儲與管理;其次是與行業應用相結合實現對其數據的快速檢索、分析與挖掘;再者是根據數據分析結果為用戶提供報表、趨勢等多形態效果展示,實現人與數據智能溝通,去除一個個的信息孤島,助力企業在大數據時代創造更高的商業和社會價值。

未經允許不得轉載:存儲在線-存儲專業媒體 » 賽思Scistor BDMS助力企業縱橫大數據世界
分享到

renxinbo

相關推薦

精品国产午夜肉伦伦影院,双性老师灌满浓jing上课h,天天做天天爱夜夜爽,攵女乱h边做边走