特點四處理流程復雜,頻繁的IO和數據庫操作復雜流程。
特點五對于硬件資料配置很高,對于密集型科學計算,存儲硬件的資源配置要求很高。
那么面對海量數據處理,我們的機遇與挑戰在哪里?賴能和認為首先地震數據快速增長對于存儲量提出巨大需求,其次對于傳統的HPC軟硬件架構提出了新的挑戰,最后高能耗與制冷是數據中心面臨的新問題。
如何快速地把數百TB數據輸入HPC,快速處理、QC、安全存儲與拷貝數據,是目前HPC面臨的最大挑戰之一。
數據中心面對數據海量的壓力
那么地震海量數據處理解決方案需要關注那些方面?賴能和從高性能、高配置、高寬帶、高效率以及高吞吐五個方面提出了解決方案。
采用SSD,將解決CPU性能受限于I/O瓶頸的問題,特別是數據庫的隨機讀寫速度,有效提供系統效率并降低能耗。
SSD的平均延遲大大低于機械盤。圖中對于可靠性、性能、功耗以及空間利用做了詳細的對比。
普通用戶對于SSD盤與HDD的實際測試
采用SSD硬盤,作為節點的內部臨時交換去區,系統性能提高2倍。在不同配置環境下的3D RNA的應用效率對比
最后賴能和認為,SSD具有很高的IOPS、低功耗、低熱量、低噪音和低延遲等優勢,并且在油氣勘探行業中得到廣泛推廣應用。隨著SSD盤性價比的提供,用戶也期待高性能、更穩定、更高效、橫向擴展性更好、能夠提供PB級容量的SSD分級存儲(如華為的Oceanstor 18800F)在石油勘探海量數據處理中得到應用。