如表1-1所示,交換機、網卡、操作系統等方面的發展,已經使得網絡延遲有了大幅降低,詳見下表。網絡處理延遲已經較大幅度低于軟硬件的固有延遲,使得基于萬兆以太網的存儲服務可以逐步替代傳統的存儲光纖網絡。

1.3 傳統存儲架構的應用局限性

傳統SAN存儲設備一般采用雙控制器架構,兩者互為備份,配置兩臺交換機與前端的服務器進行連接,如圖1-1所示。這種雙控制器架構這種方式會有以下兩個方面的缺點:

1)網絡帶寬容易變成整個存儲性能的瓶頸;

2)如果一個控制器損壞,系統的性能將大幅下降,影響存儲的正常使用。

%e5%b1%8f%e5%b9%95%e5%bf%ab%e7%85%a7-2016-12-27-%e4%b8%8a%e5%8d%889-26-44

圖 1-3 傳統存儲雙控制架構

傳統存儲架構的局限性主要體現在以下幾個方面:

1、橫向擴展性較差

受限于前端控制器的對外服務能力,縱向擴展磁盤數量無法有效提升存儲設備對外提供服務的能力。同時,前端控制器橫向擴展能力非常有限,業界最多僅能實現幾個控制器的橫向。因此,前端控制器成為整個存儲性能的瓶頸。

2、不同廠家傳統存儲之間的差異性帶來的管理問題

不同廠商設備的管理和使用方式各有不同,由于軟硬件緊耦合、管理接口不統一等限制因素無法做到資源的統一管理和彈性調度,也會帶來存儲利用率較低的現象。因此,不同存儲的存在影響了存儲使用的便利性和利用率。

2 金融行業對于下一代存儲的需求

互聯網、云計算的快速發展推動著金融行業的不斷創新,在移動支付、互聯網金融等創新業務方面全面推進。業務的發展、數據的增長以及云計算、大數據等新技術的快速發展,均對存儲提出了相關的要求,具體包括如下五點:

2.1 高性能

互聯網和移動互聯網的快速發展,以及金融企業業務的快速增長,使得企業在業務過程中產生了大量的業務數據,這些大量的數據需要被記錄在虛擬機、數據庫、文件系統等中,從而對存儲的性能要求越來越高。

大數據分析技術的發展,使得企業逐漸認識到數據在企業發展中的重要性。結合業務發展需要,企業對記錄和存儲的大量業務數據等進行分析和挖掘,形成支撐企業經營決策、精準獲客、風險防范等多方面的數據增值服務,滿足企業內部和外部用戶的需求,也對存儲的性能提出更高的要求。

因此,為滿足高并發的業務以及大量的業務數據分析等需求,存儲首先需要提供較高的性能。

2.2 高可用性

數據是企業的核心資產,存儲的高可靠性和數據高可靠性是業務活動的基礎支撐。存儲系統需要避免因為單個設備的故障,對整體服務以及服務能力產生較大影響,提高存儲系統的魯棒性。對于數據來說,也要提供相應的高可用機制,在存儲發生故障時候,支撐和保障數據的自動恢復和動態遷移。

尤其是對于金融行業企業來說,存儲和數據的高可用性相比其他行業來說更加重要。因此,在金融行業的業務場景下,存儲需要滿足更高要求的高可用性。

2.3 動態擴展

虛擬化技術的發展使得計算資源得以池化,使得業務系統所需要的資源能夠按需分配,彈性擴展。在整個平臺資源不足的時候,能夠便捷地動態增加新的服務器資源。同樣,對于存儲來說,金融企業需要建立存儲的資源池,并能夠按需分配和動態增加資源池的資源,滿足業務發展的需要。

因此,存儲能夠支撐資源的動態伸縮以及資源池的動態擴展也是行業信息技術發展的需要。

2.4 接口標準性

一個架構先進的、符合時代發展的存儲系統應該是軟硬件之間松耦合或者不耦合的狀態,系統支持自動對硬件資源的部署、優化和管理,將各類存儲資源進行靈活的配置,實現應用按需(容量、性能、QoS、SLA等)分配。

因此,這就要求存儲能夠提供豐富的標準接口,包括文件系統接口(NFS、CIFS)、塊接口(iSCIS、FC)或者對象接口(S3、SWIFT)以及對內能夠提供標準的管理接口。

2.5 高可管理性

存儲作為企業數據中心的核心和基礎服務,應該具備日常部署、管理、監控的自動化和可視化,提高存儲資源服務的可管理性,包括資源分配、資源監控、故障告警等多方面的內容,從而提高運維管理人員的管理效率。

存儲服務需要逐步支持智能化的采集和分析,幫助企業高效地利用現有資源,包括對存儲IOPS、存儲吞吐量以及存儲容量的使用進行動態的監測和預測,方便管理人員對存儲現有情況進行了解和及時對未來存儲的擴容進行規劃。

因此,從管理運維方面來說,存儲需要提供相應的高可管理性。

3. 軟件定義存儲技術的發展現狀

3.1 傳統存儲到軟件定義存儲的演變

存儲系統在演變過程中經歷了數次變遷,最早誕生于服務器內部,后逐漸成為一個獨立系統,出現了NAS、SAN等存儲技術。但是隨著業務規模與模式的不斷擴大更新,傳統存儲架構由于橫向擴展成本高、周期長、兼容性差和性價比低等原因無法適應更多的應用場景。伴隨x86服務器逐漸通用標準化,結合計算機與網絡技術,輔以高速網絡、SSD等技術的發展和廣泛應用,存儲系統逐漸向以下兩個方面發展:

1.從集中式逐漸過渡到分布式存儲架構。分布式最大的特點就是數據分散在各個獨立節點上,多臺存儲服務器分擔存儲負荷,提高了系統的可靠性、可用性和效率,并且易于擴展。

2.受到“互聯網+”深入融合背景下業務云化需求的推動,數據類型從結構化向半/非結構化逐漸過渡,存儲系統也要從塊設備存儲轉向文件、對象存儲。

在這樣的背景下,軟件定義存儲(Software Defined Storage,SDS)應運而生。SDS往往采用分布式的架構,可以向上提供塊、文件或對象存儲服務,通過軟件將控制平面與數據平面分離開來,成功實現了資源的靈活控制。這種方式提高整個系統的容錯性,將通用硬件引入的不穩定因素降到最低。

3.2 軟件定義存儲的發展和特點

在全球網絡存儲工業協會(Storage Networking Industry Assiociation, SNIA)的定義中,SDS是帶有服務管理接口的虛擬化存儲,包括了具有數據服務特性的存儲池,這些服務特性可以通過服務管理接口去實現,從而滿足需求。

3.1.1 軟件定義存儲發展的三個方面

使用軟件管理硬件資源是一個的過程,需要將硬件與軟件解耦,將硬件資源以服務的方式逐步開放給應用層,才能分階段地滿足應用對資源的不同程度的靈活調用。為了提升存儲資源的性能、利用效率和解決統一管理的問題,SDS將這一過程分為抽象化、池化和自動化三個階段。

1.存儲系統的抽象化

存儲的抽象化是指將服務與硬件之間的對應關系剝離開來,打破壁壘,達到資源共享。不同廠商的存儲管理軟件通過統一的行業標準來管理存儲的資源,從而避免被單一廠商所壟斷或者不同廠商之間的管理復雜、維護困難等問題。從本質上說,這個過程是將硬件之間差異隱藏了起來,并與上層隔離。由頂至下,只能看到標準化的通用硬件,忽略了品牌之間的差異。

2.存儲系統的池化

存儲系統的池化是指對硬件進行統一的管理、分配和調度。SDS將資源虛擬化成為存儲池,從外面看是一個統一的、完整的存儲設備。SDS可以基于服務器、網絡或者存儲子系統三個層面進行虛擬化?;诜掌鞯奶摂M化可以跨越不同的磁盤介質?;诰W絡的虛擬化則主要是在不同架構存儲系統之間進行統一的管理。SDS也可以在存儲子系統上進行虛擬化,實現精簡配置和存儲資源的靈活調用。

3.存儲系統的自動化

SDS的自動化是指存儲系統可以根據業務場景,通過一定的策略去自動部署所需要的存儲資源,提供業務所需要的數據服務級別。通過SDS提供的接口,存儲系統將控制層和數據層分離,實現了高度自動化,從而為企業提供了更加高效、靈活的存儲架構,也降低了運維復雜度和成本。

3.1.2 軟件定義存儲的特點

簡而言之,SDS就是更多地由軟件來驅動并控制硬件資源,并以服務的形式提供支持。SDS通常有如下幾個特點:

1. SDS采用分布式架構

由于SDS通常采用分布式的架構,因而相對應地繼承了高性能和靈活的優點。在使用中,SDS可預估和實現計算、性能和存儲容量的彈性擴展,并且具有以下特性:節點擴展后,系統會自動負載均衡,避免單點過熱;實現彈性擴展過程中不會對業務造成影響;在集群彈性擴展的過程中,性能具有線性化的特點。

歸功于分布式的特點,無論是要以低價格獲得普通的性能還是要以較高的價格獲得極高的性能,軟件定義存儲都能夠滿足。加上先進的讀寫緩存技術,軟件定義存儲相比傳統存儲具有超高的性價比。

2. SDS支持分級存儲

由于通過網絡進行松耦合鏈接,SDS允許高、低速存儲分開部署,或者任意比例混布。分層存儲的優勢在不可預測的業務環境或者敏捷應用情況下,可以發揮到最佳。

3. SDS的高可靠

與傳統的存儲架構使用RAID模式來保證數據的可靠性不同,SDS采用了多副本備份機制。為了保證多個數據副本之間的一致性,SDS通常采用的是一個副本寫入,多個副本讀取的強一致性技術。在讀取數據失敗的時候,系統可以通過從其他副本讀取數據,重新寫入該副本進行恢復,從而保證副本的總數固定;當數據長時間處于不一致狀態時,系統會自動數據重建恢復,同時租戶可設定數據恢復的帶寬規則,最小化對業務的影響。

4. SDS的強兼容性

隨著SDS的發展,存儲行業的標準化進程也不斷推進。在云計算潮流中,SDS也能夠很好地兼容各種云平臺,為其提供后端存儲服務。同時,SDS優先采用行業標準接口(SMI-S)進行存儲接入。在平臺層面,通過將異構存儲資源進行抽象化,以實現存儲資源的集中管理,并能夠自動執行創建、變更、回收等整個存儲生命周期流程?;诋悩嫶鎯φ系墓δ?,用戶可以實現跨品牌、介質的容災備份,相應降低了存儲采購和管理成本。

分布式存儲技術及其軟件產品已經日趨成熟,并在各行各業的數據中心中得到了廣泛的使用和驗證。

3.3 現有業界主流SDS產品介紹

3.3.1 開源Ceph

Ceph是最早致力于開發下一代高性能分布式存儲系統的開源項目。除了分布式系統最基本的特性,Ceph還擁有大規??蓴U展(PB、甚至EB級的存儲空間)、基于CRUSH算法的自我管理和修復、靈活的架構等優點,并且支持OpenStack、CloudStack、OpenNebula、Hadoop等云平臺。這使其迅速獲得開源社區的認可,成為最廣泛的開源項目之一,得到眾多IT廠商支持的協同開發,如Intel、SUSE、RedHat、SanDisk、CISCO、Yahoo等。

Ceph是統一分布式存儲系統,具有優異的性能、可靠性、可擴展性。Ceph的架構如圖3-1所示,Ceph的核心是RADOS,它是分布式對象存儲系統,由自修復、自管理、智能的存儲節點組成。RADOS作為數據持久層,Ceph在LibRADOS中封裝了面向RADOS集群的操作,像塊設備接口(RBD)、對象存儲接口(RADOS Gateway)、文件存儲接口(POSIX接口)等,使得任意客戶端可以直接訪問數據節點,從而提供廣泛的基于文件、對象和塊設備的存儲服務。RADOS的核心是一個可擴展的偽隨機數據分布算法(CRUSH)。CRUSH能夠有效映射數據對象到存儲節點上,而且能夠處理系統的擴展和硬件失效,CRUSH算法達到了效率和擴展性這兩個矛盾的目標。

%e5%b1%8f%e5%b9%95%e5%bf%ab%e7%85%a7-2016-12-27-%e4%b8%8a%e5%8d%889-27-44

圖 3-1 Ceph存儲架構圖

3.3.2 國內商業SDS

與開源Ceph類似,國內某些商業公司也推出了相關軟件定義存儲產品,可以通過部署在x86服務器上,從而把所有服務器的本地硬盤組織成一個虛擬存儲資源池,提供塊存儲功能。

商業版本SDS常常在存儲接口層通過SCSI驅動接口向操作系統數據庫提供卷設備;在存儲服務層提供各種存儲高級特性,如快照、鏈接克隆、精簡配置、分布式cache、容災備份等;在存儲引擎層,提供包括管理狀態控制、分布式數據路由、強一致性復制技術、集群故障自愈與并行數據重建子系統等功能;同時,成熟的商業版本SDS的安裝部署、自動化配置、在線升級、告警、監控和日志等功能都可以在存儲管理層提供,并向用戶提供Portal界面。在具體實現過程中,商業版本SDS需要保證數據的I/O操作均勻分布在不同服務器的不同硬盤上,避免局部熱點,實現負載均衡。

3.3.3 國內高校SDS

作為未來存儲的而發展趨勢,軟件定義存儲也吸引了國內外高校的廣泛關注,國內部分高校推動產學結合,面向云計算數據中心而研發了大規模存儲系統。

高校SDS在系統架構上實現了“分布存儲、集中管理”的理念。系統軟件組件由監控服務器、數據服務器、客戶端組成,實現集中化的系統配置、管理、狀態監控,并負責系統拓撲的實時監控和計算。監控服務器部署在兩個不同節點上,實現高可用,并支持數據強一致性。

高校版本的SDS的優勢在于核心技術的領先性,通過使用專用的Cache管理算法,避免由于斷電等故障引起數據丟失。在數據讀寫過程中,高校SDS周期性檢查并修復損壞的副本,并且支持差異化數據保護策略,可以在同一存儲池中為每個邏輯卷設定不同的副本數,兼顧數據容錯和存儲空間利用率。高校SDS還提供了fsck工具,可以對全系統、指定的存儲池或卷進行一致性檢查,并進行修復。

高校SDS在通信協議設計、編解碼方式、緩存管理算法、I/O調度、多線程和I/O并發性、基于零拷貝的緩沖區管理等多個關鍵環節都進行了優化設計,使得存儲系統可以充分展現硬件的性能,滿足云計算數據中心虛擬機、數據庫等業務對高IOPS和低延遲的性能要求。

4. SDS在金融行業應用評測及分析

為面向金融行業的云計算數據中心建設方案提供前沿性指導,中國銀聯電子商務與電子支付國家工程實驗室在深入研究現有存儲技術的基礎上,結合對金融行業存儲需求的分析,編制了SDS存儲測試標準,并參照測試標準針對部分目前主流的SDS產品(開源Ceph、商業版本和高校版本)進行測試與評估。

4.1評測范圍

結合金融行業的應用背景,考慮到存儲系統在實踐中使用的普遍情況,中國銀聯電子商務與電子支付國家工程實驗室從功能性、系統性能、可擴展性、高可用性、易維護性五個方面出發,制定了評測標準。

具體的評測方法分為兩類:驗證測試與用例測試。其中,定性的指標通過驗證測試進行評測,定量的指標通過現有工具或編寫的腳本程序進行用例測試。具體評測范圍如下:

1.系統功能

針對系統的功能完備性進行評測,驗證系統是否能夠支持業務的正常運行,包括監控集群狀態、管理用戶賬戶、創建增加集群或節點、支持邏輯卷層面的操作、具有快照與克隆的功能。

2.系統性能

針對系統的順序讀寫和隨機讀寫性能進行評測,驗證存儲系統是否能夠提供較高的IOPS和帶寬來分別滿足高并發和數據分析的業務需求。測試指標包括IOPS、帶寬和磁盤響應時間。

3.系統可擴展性

針對系統的可擴展性進行評測,驗證存儲系統系統是否能夠支持彈性擴展,包括在擴展過程中是否能夠不影響業務的正常運行,自動實現負載均衡,擴展過后的性能是否能夠線性化。

4.系統高可用性

針對系統的高可用性進行評測,驗證存儲系統是否能夠滿足單個存儲節點的故障不會造成存儲系統的癱瘓,而全局故障不會損害數據的完整性,包括單盤故障、單節點故障和集群故障。

5.系統的可維護性

針對系統的可維護性進行評測,包括存儲系統是否有可視化管理的界面,使得用戶能快速掌控硬件信息;是否支持保護域、存儲池的分層設計使得用戶輕松應對資源規劃;是否具有豐富的API、命令行、日志和告警功能幫助用戶迅速定位并解決存儲集群系統中的各種突發狀況。

4.2評測環境的準備

本次測試環境如下:由一個萬兆交換機連接10個節點,分為4個存儲節點和6個計算節點。通過在計算機節點上安裝FIO工具,模擬不同塊大小及讀寫模式的I/O壓力。

整體測試環境的的網絡拓撲如圖4-1所示。存儲節點與計算節點的配置具體如表4-1和表4-2所示。

%e5%b1%8f%e5%b9%95%e5%bf%ab%e7%85%a7-2016-12-27-%e4%b8%8a%e5%8d%889-28-31

圖 4-1 物理機測試環境網絡拓撲圖

表 4-1 存儲節點硬件配置

%e5%b1%8f%e5%b9%95%e5%bf%ab%e7%85%a7-2016-12-27-%e4%b8%8a%e5%8d%889-28-49

表 4-2 計算節點硬件配置

%e5%b1%8f%e5%b9%95%e5%bf%ab%e7%85%a7-2016-12-27-%e4%b8%8a%e5%8d%889-28-59

4.3 評測結果及分析

4.3.1 功能測試結果及分析

在功能測試環節中,三個不同版本SDS軟件展現出了在基本業務功能上的完備性。作為業界主流的產品,三款產品都在開發過程中考慮到應用場景,在基礎環境監控及用戶管理、邏輯卷管理和快照與克隆方面提供完備的功能,滿足用戶在具體使用中的各種業務需求。測試結果詳情見表4-3。

表 4-3 三個不同版本的SDS產品業務功能測試結果

%e5%b1%8f%e5%b9%95%e5%bf%ab%e7%85%a7-2016-12-27-%e4%b8%8a%e5%8d%889-30-53

4.3.2 性能測試結果及分析

為了對系統的性能全面地進行評估,本次測試選取IOPS、帶寬和磁盤響應時間三個維度進行綜合考量。

IOPS(I/O per second)是指每秒讀寫的次數,通常對于小I/O,且傳輸I/O的數量比較大的情況下,是一個最主要的衡量指標。帶寬是指每秒在I/O流中傳輸的數據總量。在對存儲系統性能進行評價的時候,需要綜合看IOPS和帶寬這兩個指標,同時存儲性能另外一個重要指標是磁盤響應時間。

1.帶寬指標

在順序寫的測試項中,商業SDS展現出最好性能,帶寬平均達到6171.8MB/s,在順序讀的項目中,高校SDS的性能最好,帶寬平均達到5577.5MB/s。綜合判斷,商業SDS的順序讀寫性能較為均衡,更加適合大數據傳輸業務。開源Ceph與高校SDS相對也能滿足一定的性能需求。表4-4與圖4-2展示了三個不同版本SDS軟件分別在順序讀寫、隨機讀寫的帶寬性能測試結果。

表 4-4 順序隨機讀寫帶寬性能測試結果(單位MB/s)

%e5%b1%8f%e5%b9%95%e5%bf%ab%e7%85%a7-2016-12-27-%e4%b8%8a%e5%8d%889-31-11

%e5%b1%8f%e5%b9%95%e5%bf%ab%e7%85%a7-2016-12-27-%e4%b8%8a%e5%8d%889-32-12

圖 4-2 順序隨機讀寫吞吐量性能測試結果柱形圖

2.IOPS

在隨機讀寫的測試項中,高校SDS展現出最好性能,IOPS分別平均達到83.2萬與32.1萬。綜合判斷,高校SDS的隨機讀寫性能更為優秀,更加適合聯機事務處理業務。開源Ceph與高校SDS均能滿足一定業務需求。而商業SDS采用的分布式哈希表(Distribute Hash Table,DHT)路由數據算法,雖然可以使得數據盡可能分布到所有節點上,實現負載均衡,同時也帶來了隨機讀寫時路徑過長的缺點,犧牲了部分性能。表4-5與圖4-3展示了三個不同版本SDS軟件分別在順序讀寫、隨機讀寫的IOPS測試結果。

表 4-5 順序隨機讀寫IOPS性能測試結果

%e5%b1%8f%e5%b9%95%e5%bf%ab%e7%85%a7-2016-12-27-%e4%b8%8a%e5%8d%8810-26-29

%e5%b1%8f%e5%b9%95%e5%bf%ab%e7%85%a7-2016-12-27-%e4%b8%8a%e5%8d%8810-26-37

圖 4-3 順序隨機讀寫IOPS性能測試結果柱形圖

3.響應時間

在磁盤響應時間的測試項中,高校SDS和商業SDS的磁盤響應時間都較低,基本在20ms以內。而相對開源Ceph的響應時間就比較長,這是因為Ceph的讀/寫流程中,寫入操作會先到主副本所在的服務器,然后復制到另外2個副本的服務器并全部返回OK,才向客戶端確認,路徑較長。表4-6與圖4-4展示了三個不同版本SDS軟件分別在順序讀寫、隨機讀寫的磁盤響應時間測試結果。

表 4-6 順序隨機讀寫磁盤響應時間測試結果(單位:ms)

%e5%b1%8f%e5%b9%95%e5%bf%ab%e7%85%a7-2016-12-27-%e4%b8%8a%e5%8d%8810-26-50

%e5%b1%8f%e5%b9%95%e5%bf%ab%e7%85%a7-2016-12-27-%e4%b8%8a%e5%8d%8810-26-56

圖 4-4 順序隨機讀寫延時測試結果柱形圖

4.3.3 可靠性測試結果及分析

通過可靠性測試結果的對比,商業SDS在四個級別的可靠性方面都展現出有效地應對措施,能夠保障系統的可靠運行。高校SDS系統則在單硬盤、單服務器層面保障了系統的穩定運行,集群層面由于測試環境原因未做測試。表4-7展示了三個不同版本SDS產品在可靠性方面的測試結果。

表 4-7 三個不同版本的SDS產品可靠性測試結果

%e5%b1%8f%e5%b9%95%e5%bf%ab%e7%85%a7-2016-12-27-%e4%b8%8a%e5%8d%8810-27-06

4.3.4 可維護性測試結果及分析

在可維護性測試項中,開源Ceph、商業SDS和高校SDS均支持資源監控可視化、性能分析可視化、容量分析可視化和故障警告可視化的功能,使得存儲管理員可以通過Web網頁直接查看資源的使用和健康狀況、當前存儲的性能狀況以及及時接到故障的警報,大大方便了日常工作中的存儲系統的安裝部署、日常管理、監控審計和升級擴容等工作。表4-8中展示了三個版本的SDS產品的可維護性測試結果。

表 4-8 三個版本的SDS產品可維護性測試結果

%e5%b1%8f%e5%b9%95%e5%bf%ab%e7%85%a7-2016-12-27-%e4%b8%8a%e5%8d%8810-27-16

4.4評測總結

中國銀聯電子商務與電子支付國家工程實驗室聯合產業各方,三個不同版本的SDS產品依據測試標準進行了評估測試。測試主要從功能性、性能、可靠性和可維護性四方面出發。在綜合考量技術特點與測試結果之后,現將三款主流SDS產品優缺點總結如下:

開源Ceph

缺點:由于RBD的I/O路徑很復雜,導致效率相對較低,Ceph無法將磁盤性能發揮到最佳,不過整體性能已經能夠滿足正常業務需要。由于維護社區的主要開發者為國外開發團隊,存在后期維護路徑長的不足,在使用過程中出現問題后,反饋、解決周期較長。

優點:Ceph作為開源版本,整個系統自主可控,并且支持iSCSI、SWIFT等訪問協議,對異構存儲具有更強的兼容性。開源Ceph提供精簡配置功能、卷級的QoS、存儲的壓縮和消重服務。在對接上層虛擬化平臺方面,開源Ceph也具有得天獨厚的優勢,除了與OpenStack原生集成之外,對VMware、Hyper-V、KVM等虛擬化平臺也能夠很好地兼容。在開源社區有許多企業參與Ceph技術的系統架構和研發,不斷對Ceph進行優化和改進。SUSE是Ceph社區的8大理事成員之一,也是社區貢獻最多的組織之一,提供了SUSE Storage的發行版,支撐Ceph的維護和發展,并且提供了更多的增強特性,包括在線升級等。

商業SDS

缺點:作為商業產品,商業SDS版本的更新需要經過長時間的開發測試,版本與版本之間間隔時間長,現有產品不一定對新版本操作系統和新設備能夠良好兼容。同時由于商業SDS是為特定公司產品線量身定做的存儲軟件產品,雖然能夠良好接入自身公司的產品線,其他云平臺接入性稍弱。

優點:商業SDS由于經過數次迭代演變成為一個成熟的商業產品,優化較好,性能較高,內部提供多項功能像QoS保證了在多業務并發的情況下維持系統的穩定運行。商業SDS在部署時要求存儲網絡與業務網絡之間相互隔離,為數據的安全性提供了保障,后期維護方便。商業SDS提供功能全面的管理頁面,交互性好,支持對傳統存儲進行統一接管,方便利舊。

高校SDS

缺點:由于研發過程應用場景較為單一,高校SDS系統的可靠性服務較少,并需要在多場景下進行大量驗證。同時作為面向市場的初期產品,高校SDS的維保支持服務環節較為薄弱。

優點:作為高校學術的產物,高校SDS繼承了學術研究上的領先架構,,具有超高的性能,能夠完全發揮出磁盤的性能,系統部署方便,支持精簡配置等功能。作為學術界成果產業化的典型案例,在初期階段,高校SDS系統具有超高性價比。

5.SDS在金融行業云中的應用前景

軟件定義存儲SDS技術相比傳統存儲已經在多方面有了明顯的優勢,能夠有效滿足云計算環境下存儲服務高性能、高擴展性以及多種通用接口服務等需求。同時,SDS基于x86架構服務器進行構建,能夠很好的和云計算平臺中的虛擬機技術、軟件定義網絡技術等進行集成。

對于金融云計算平臺中典型的存儲服務需求:虛擬機存儲、文件等非結構化數據存儲、數據庫存儲、大數據存儲,SDS技術的應用分析如下:

1、虛擬機存儲

虛擬機存儲是云計算平臺中運行的虛擬機以及虛擬機鏡像的存儲環境,主要特點包括:

文件較大,一般為10G以上;

單個虛擬機的IOPS和帶寬要求低,一般在幾十以內;

可用性要求較高。

一般來說,在云計算環境下會存在大量的虛擬機,少則上千臺,多則幾萬臺甚至幾十萬臺,雖然單臺虛擬機所需資源較少,但是量變帶來質變,整體對于存儲的性能需求極高,該場景下為了滿足所有虛擬機訪問帶來的帶寬要求,使用傳統存儲的解決方案需要購置多套SAN或者NAS存儲設備并分別部署,顯然價格較貴。

基于SDS技術可構建統一的資源池,并能夠動態擴展資源,并有效提升存儲資源的管理和使用效率。結合虛擬機存儲的使用特點,存儲資源池可使用SAS接口的磁盤甚至SATA接口的磁盤。

2、非結構化數據存儲

業務系統在運行過程中,一般會生成一些非結構化的數據,包括記錄的系統運行日志、生成的一些臨時文件等。該類型數據的特點包括:

文件大小中等,一般幾十MB到幾百MB不等;

IOPS和帶寬要求低,一般是連續讀寫;

可用性要求較高。

該類型的應用場景類似于虛擬機存儲,差別主要在于虛擬機主要表現為隨機訪問,非結構化數據主要表現為連續訪問。另外,該場景下的文件數量會非常大,文件大小也差別較大,從幾MB到數GB都會有。

因此,SDS技術也可很好的滿足上述要求,使用廉價SAS和SATA磁盤滿足大規模非結構化數據的存儲,并提供良好的擴展性。

3、數據庫存儲

業務系統運行過程中另外一個典型的存儲應用就是關系型數據庫,基本上所有的業務系統均需要存儲用戶基本信息、參數信息、業務交易信息等內容。結合數據庫使用的不同場景,包括聯機業務數據庫、批量業務數據庫和參數庫,相關的主要特點如下:

聯機業務數據庫:面向實時交易業務處理過程中的數據存儲和訪問,主要特點包括業務訪問并發量很高、實時性和可用性很高、每天數據量較大等,數據表內容可達到幾千萬甚至幾億條記錄;

批量業務數據庫:面向交易業務處理過程中的非實時數據處理,比如說基于歷史數據的統計分析,主要特點包括業務訪問并發量不高、訪問數據量較多、實時性較高等;

參數庫:面向業務處理過程中關聯的用戶信息、商戶信息、業務參數等內容,主要特點包括數據增加緩慢、業務訪問并發量不高、實時性較高等。

SDS技術結合固態硬盤SSD的應用,完全可以滿足數據庫應用場景下的帶寬和IOPS方面的性能要求。但是,SDS技術在高可靠性方面的功能還需要進一步提升,以滿足業務系統尤其是聯機類業務系統的要求。

4、大數據存儲

大數據已經成為企業經營決策和發展的重要支撐。大數據中的數據來源于業務系統,涵蓋了結構化數據、半結構化數據和非結構化數據,數據量非常大。大數據場景下的存儲主要特點如下:

數據量非常大,涵蓋了企業三至五年甚至更長時間的數據;

存儲實時分析、實時查詢、離線分析和挖掘等多種類型的業務需求;

支持動態擴展,以滿足數據增長的需求;

計算靠近數據,以避免大量數據傳輸帶來的網絡壓力;

SDS技術有效解決了存儲資源服務的問題,能夠支撐大規模數據存儲、動態擴展等。但是,存儲資源池和計算資源池的隔離,使得SDS技術目前無法有效滿足計算靠近數據的需求。而Hadoop技術體系中分布式文件存儲HDFS和并行處理MapReduce從設計之初就考慮了計算靠近數據的需求。

6.總結

數據的迅速增長催生了大數據產業,云計算是一個潮流,也是一個必然的發展趨勢。云計算包含Iaas、PaaS和SaaS,整個云計算生態中,存儲是IaaS的重要組成部分,是云計算中非常重要的基礎架構,作為信息的存放之地,它的高可靠、高可用性和安全性直接決定了數據中心信息化建設的成敗。

金融行業的生產中心的存儲系統是金融行業機構最重要的基礎設施之一。因而存儲技術與產品的選擇在整個生產業務的運行效率和穩定水平層面具有舉足輕重的地位。作為SDDC不可缺少的一個環節——SDS在能夠更好地融合大數據和云計算前提下,可以大幅度降低總成本,SDS將是未來金融行業云中存儲技術的應用潮流。

SDS技術作為存儲發展的主要趨勢,已經在高性能、高擴展性、高可管理性等方面相比傳統存儲體現出了明顯的優勢,能夠在數據中心云計算環境進行了運用,替代部分的傳統存儲。但是,仍需要進一步在高可靠性、高可用性等方面進行加強,以滿足金融行業的業務需求。

新技術的發展是一個持續漸進的過程,需要在實際中不斷應用和改進,相信軟件定義存儲技術在整個產業的聯合推進下,會大放光彩!

未經允許不得轉載:存儲在線-存儲專業媒體 » 【案例】軟件定義存儲技術研究及在金融行業中的應用分析
分享到

wangky

存儲在線(DOSTOR)高級編輯

相關推薦

精品国产午夜肉伦伦影院,双性老师灌满浓jing上课h,天天做天天爱夜夜爽,攵女乱h边做边走