遙感器搜集到的原始數據經過接收裝置接收后，進行集中式存儲，通常是以非結構化文件的形式保存。原始數據的可讀性很差，通常需要進行加工處理后，才便于分析。根據分析內容和側重點不同，原始數據的加工處理方法也不同，同一套原始數據經常需要反復讀取和處理。最后，處理后的數據也會保存在存儲系統中，可能以非結構化文件形式保存，也可能導入結構化的數據庫中，方便以后查閱，或與前端應用系統集成。

需求分析

存儲類型

衛星遙感的數據處理系統對存儲類型需求多樣。衛星遙感的原始數據主要為巨大的非結構化的文件數據，這些原始數據的存儲、處理需要基于文件系統的非結構化存儲系統作為支撐；經處理后的結果數據，通常需要導入數據庫用于后期查詢和應用，需要結構化存儲系統來支持；此外，整套系統也有數據歸檔備份相關的需求，需要相應的數據歸檔備份存儲系統。

存儲容量

衛星遙感的原始數據量非常巨大，取得這些數據的成本和代價高昂，數據的重要性非常高，需要海量的存儲系統對數據進行保存。從目前的應用情況看，有的系統對存儲容量的需求會高達上百PB級。

存儲性能

衛星遙感的數據存儲及處理對存儲系統的性能要求很高，特別是并發IO帶寬。主要針對原始數據的非結構存儲系統，在原始數據采集導入的時候需要較高的寫入帶寬，需要通過條帶化等處理方式加快原始數據寫入，避免成為性能瓶頸；原始數據的處理需要頻繁的讀入原始數據，通常都是通過MPIO等數據并行方式來加快并行處理速度，這需要非結構存儲系統提供充足的并發讀帶寬；對于結構化存儲系統，同樣有很高的性能要求，衛星遙感的數據庫非常龐大，前端應用系統對數據的查詢調用開銷很大，需要通過有效的方式提高數據庫的查詢性能，減小前端系統的等待時間。

可擴展性

衛星遙感數據是海量的，且存儲容量和存儲性能隨著業務量的增長而增長。通常一套系統的建設初期數據存儲和處理量不大，但未來會出現爆發式的增長。如果采用一次性投入的方式，前期會造成較大的資源浪費，后期存儲系統容量及性能不足的時候又較難擴展。因此，較合理及高性價比的方案是采用分批建設，這就要求整套存儲系統具有及高的可擴展性，最好能支持在線擴展，避免擴展時對業務系統造成中斷。同時，系統擴展時需要做到存儲容量和性能的線性增長。

分級存儲

衛星遙感的數據量非常巨大，合理的分級存儲機制同樣是降低系統整體成本，提高效率的有效手段。存儲系統可分為在線、近線、離線等部分。在線存儲系統的性能最好、容量相對較小，主要用于存儲和處理“熱點數據”；近線存儲系統的性能相對較低，容量較大，主要用于存放較少訪問的數據；離線存儲一般為數據歸檔備份系統，用于對歷史數據進行歸檔，或者對關鍵數據進行備份。

解決方案

根據對衛星遙感領域的大數據需求分析，曙光衛星遙感數據存儲處理系統的整體解決方案框架如下：
 

在數據存儲層，Parastor分布式并行存儲系統負責非結構化衛星遙感原始數據的存儲，Parastor具有大容量、高帶寬、線性擴展、易管理、高性價比等特性，自動支持分級存儲，支持Windows/Linux等多種客戶端，可通過千兆/萬兆以太網或InfiniBand高速網提供全局共享的統一文件系統存儲；結構化存儲系統通過DCstor存儲虛擬化控制系統將磁盤陣列存儲設備整合成存儲資源池，同樣具有線性擴展的特性，支持存儲分級和自動精簡配置，提供FC SAN訪問接口，用于結構化數據庫存儲，再結合XData結構化數據查詢分析系統，實現結構化數據的高速查詢及分析；DBstor歸檔備份系統提供非結構化文件及結構化數據庫的歸檔或備份，支持磁帶庫、虛擬帶庫等存儲設備。

在應用層，數據采集接收系統負責接收衛星數據資料，并將這些原始數據并發寫入Parastor分布式并行存儲系統；數據處理高性能計算集群負責原始數據的加工處理，由統一的作業調度系統進行資源管理和任務分配，Parastor的高帶寬為數據處理的數據并行提供了充分保障，數據計算處理完成后，通過數據庫服務器寫入到DCstor結構化存儲資源池中。前端應用服務器可通過XData數據查詢分析系統進行結構數據的快速查詢及分析，前端應用服務器也可對Parastor上的原始數據進行查詢及分析。

整套系統通過曙光Gridview監控管理平臺對存儲系統、網絡系統、計算集群、應用系統等進行統一監控和管理。

曙光衛星遙感領域大數據整體解決方案，針對衛星遙感的行業應用特點，提供了多種類型的存儲資源，支持Windows/Unix/Linux等異構平臺，存儲系統具有大容量、高并發、高帶寬、高性能、高可擴展性等典型特征，滿足衛星遙感的數據存儲和處理分析需求，還通過分級存儲、自動精簡配置等方式提高存儲資源的利用效率、降低投入和運行成本。大數據存儲系統與數據處理系統、前端應用系統等無縫結合，并提供了統一的監控和管理平臺，易于管理和使用。