上次我們分析中國區IBM高端存儲賣得最好，是否就說明這個流派是主流流派呢？其實玩高端存儲的人很多都瞧不起這個流派，主要打擊他兩點：擴展性和切換時間。最多2控吧，無法再scale out擴展了；采用雙機軟件吧，切換時間是分鐘級？但憑心而論，IBM的POWER CPU太強了，雖然只有兩控，畢竟是小機啊，SPC-1的值好像是45萬IOPS，成績非常好了。至于切換時間，我需要找更詳細的材料看看具體是多少，如果采用并行處理，就不用切換了，就是熱備方式，優化后我感覺應該是秒級能夠搞定。
多控架構
高端存儲的少林武當派認為，只有多控架構（大于2控）才是正宗的高端存儲派系，其他都是歪門邪道。圈內很大人認為，多控才叫高端。但也有人認為，支持大機才叫高端。這些都是民間的說法?，F在這個社會就像大數據的MESSY特征一個，全混雜交叉了。你說多控是高端吧，HP 3PAR StoreServ 7000是一個中端存儲，但是支持4控。你說支持大機才是高端吧，HP 3PAR StoreServ 10000和IBM自己的XIV都不支持大機。但他們都叫高端。多控架構也有很多流派，我們從出現的時間來一一了解。
1. 總線交換式
做數通的都知道，這種架構高端產品不好再用了，只有低端還在用。存儲也一樣，EMC和HDS早期的產品就是采用這種架構，市場上應該見不到了；
2. 交換式架構
這種架構HDS首先推出，目前HDS VMAX應該就是采用這種架構。和數通一樣的，CROSS BAR交換其實很早以前就在出現在高端交換機里面了。這種架構個人認為比較完美，上面一層是主機接口，中間一層是CACHE，下面一層是后端接口。但也有人攻擊這種架構仲裁太復雜，延遲比較大。
3. 矩陣直連式架構
這種架構很可笑，據說HDS給自己的架構申請了專利，EMC沒有辦法，就撒賴說，我干脆不交換了，每個需要通信的部件全部拿根線連起來。這就是著名的DMX蜘蛛網架構，EMC打擊HDS就說我快，時延小，廢話，因為不用交換。HDS打擊他就說有本事你再擴展一控試試，看你到底是賣高端存儲的還是賣線纜的？哈哈，有意思。
4. 全分布式交換架構
自從HDS老諷刺DMX是賣線而不是賣存儲的后，估計EMC丟不起那個人，天天再琢磨怎么回擊HDS。有了，現在中端存儲的節點這么便宜，我拿中端存儲的硬件，中間用一個交換機連起來，只有交換機容量夠大，我的軟件功能夠強，想要多少控就多少控。這就誕生了VMAX虛擬矩陣架構。這種架構有好處就是每個節點都不貴，現在都是拿INTEL的平臺做的，但擴展性好。我更喜歡叫松耦合scale out交換架構。架構雖然簡單，但對軟件的能力要求高，因為多個控制器自己的通訊協調復雜啊。3PAR也是采用這個架構，后來被HP收購。IBM的XIV也可以算這個架構，但耦合程度更松，更像云存儲。華為去年推出的HVS也是采用這種架構。這種架構內部有很多小流派，主要是交換技術的選擇不同，如VMAX采用RapidIO交換（也是國際標準哦，但大家都不熟悉），XIV先是以太交換機現在換成了InfiniBand交換，3Par采用的是PCIE背板交換，而華為HVS也是采用PCIE交換。個人感覺PCIE是趨勢，從成本和速度發展看，HVS現在也號稱交換容量世界第一，而且現在才采用PCIE 2.0，如果將來采用PCIE 3.0，那還了得。
高端存儲硬件架構區分
還有如下有兩種方式區分好像比較容易理解，因此，這里也簡單說明一下：
1、按照scale的方式分
這種方法，HDS VSP就屬于統一大緩存多處理器Scale up架構，IBM DS8000比較特殊，還是模塊化集群技術，其他的高端應該都算下面所說的scale out架構。
2、按照耦合的程度分
這種分法好像認可度更高些，由于韓主任在文章里比較認可HDS的架構，認為耦合比較緊，時延全局一致，符合高端的特點。因此，HDS的銷售一見客戶就拿這個文章去給客戶看，呵呵。
現在看來，除了EMC還采用RapidIO技術外，其他架構基本都是PCIE，個別用InfiniBand。IBM的DS8000曾經也用RIO-G（remote IO），現在也轉PCIE了。我這里大膽預測VMAX下一代也會拋棄RapidIO。
高端存儲除了架構外，還有前端接口和后端接口。
前端接口：所有的高端存儲都支持FC，8G為多，部分支持16G。大機的接口FICON只有EMCHDSIBM支持。FCoE和iSCSI除了DS8000好像都支持了。
后端接口：后端磁盤柜的連接只有兩種，一是傳統的FC AL連接（還不是交換的），DS8000，3PAR 10000，EMC還是采用這種傳統的方式，缺點大家都懂，仲裁環的方式，性能肯定不如SAS，并且支持SAS盤很麻煩，需要做橋接。HDS VSP和華為HVS已經采用采用SAS交換技術連接后面的磁盤框，性能上有優勢，但不支持FC盤了。誰能想到高端存儲不支持FC盤，要在前幾年，你都不好意思說。但現在SAS是趨勢，FC盤用得很少了。因此，我預測EMC的下一代VMAX產品也會采用SAS后端，不信也賭一頓飯。只是SAS的線纜太粗了，而且距離也比較短，布局上不好設計。但我相信以后的SAS協議肯定支持光纖，就像現在的PCIE也可以用光纖連接一樣（但據說成本就好幾千一根），這個也可以賭一頓飯，哈哈。
硬件結構就說這么多了，高端存儲關鍵還是在軟件上，下面我們會聊聊軟件功能。
高端存儲其實就是超級計算機
在談高端存儲的軟件功能之前，我們先從并行處理這個方向聊一下高端存儲的硬件架構，做一個補充吧：
我們先看幾個概念：
SMP ： Symmetric Multi-Processor（對稱多處理器結構 ）
NUMA ： Non-Uniform Memory Access（非一致存儲訪問結構 ）
CC-NUMA: Cache Coherent Non-UniformMemory Architecture（一致性高速緩存非一致存儲訪問結構）
MPP ： Massive Parallel Processing （海量并行處理結構 ）
其實，存儲就是計算機，這臺計算機專門用來存數據而已，高端存儲也就是那么回事，大部分都是借鑒了服務器的思路改進改進罷了。
現在市場上常見的高端存儲，我們按照這種方法來歸一下類：
IBM DS8000，這個就是兩臺小機，采用服務器集群技術，但沒有采用節點并行處理技術，不歸在并行處理范圍。但小機內部應該是用CPU SMP技術了吧；
HDS VSP，我理解VSP的架構也是設計為一整臺大機器了，有人認為VSP更像緊耦合的MPP架構（比如《大話存儲》的作者冬瓜頭），我更傾向理解這是一臺類似數通高端交換機的大機器，每個控制器就像一個CPU，8個控制器就像8個CPU，他們共享所有資源，特別是內存，這不就像一個8路服務器的SMP架構一樣嗎？其實HDS內部也認為自己是多控SMP架構；
以上架構最大的問題就是擴展性，應該都算scale-up架構。對于scale-out架構，主要有兩大陣營：
CC-NUMA：EMC VMAX、HP 3PAR StoreServ 10000我認為屬于這個架構。這個架構的特點是雖然每個節點有自己的本地內存，但內存統一編址，因此每個節點可以訪問本地內存，也可以通過高速互連技術（RAPID IO或者PCI-E)訪問遠程內存。而且他們有共同的CACHE。
MPP：IBM XIV就是這種架構。和NUMA架構不同，每個節點都是獨立的，一個節點不能訪問遠程節點的內存，和CC-NUMA體系結構相比，MPP集群不會共享內存，因此，后端網絡采用的是交換互連網絡。每個控制器和盤柜組構成一個獨立的存儲節點，所有的存儲節點之間通過后端交換互連網絡連接在一起，實現集群存儲。當系統中的任意節點接收到數據信息之后，都會通過后端網絡將這個處理之后的信息進行轉存或者進行數據冗余。這個對后端網絡要求很高，XIV采用InfiBand來完成數據的交換功能。
IBMer說，嚴格來講，MPP架構才叫scale-out。其實，CC-NUMA和MPP理論上都可以無限擴展。MPP雖然耦合度更松，擴展更容易一些，但XIV目前也就15控，而且只有6控能接主機，不知道為啥擴展性不然VMAX。
至于華為的HVS，我個人認為屬于NUMA架構或者是混合架構吧，但由于其一級CACHE不是所有節點都可以訪問的，因此，好像歸類到CC-NUMA不太合適。但由于采用RAID 2.0技術，硬盤都分成很多小塊分配到各個節點上，因此，所有的LUN都可以用到所有節點的緩存，也算是一種全局緩存吧。
漫談高端存儲的軟件功能
高端存儲除了關注硬件架構外，我認為很重要的是軟件?，F在有一個和熱的詞，SDS（軟件定義存儲），這個和高端存儲有啥關系？
我們先看一下SDS的定義。IDC的方法定義“軟件定義的存儲”為：可以安裝在商用資源(x86硬件、虛擬機監控程序或者云)和/或者現成計算硬件上的任何存儲軟件堆棧。此外，為了取得資格，基于軟件的存儲堆棧應該提供一套完整的存儲服務，還有在基礎的持續數據配置資源之間的聯邦，這使其租戶的數據可以在這些資源之間流動。
這個定義比較抽象，簡單理解就是以后存儲的存儲服務和控制服務分離，用戶自己購買或開發存儲控制軟件，存儲廠商提供存儲硬件，但智能控制的部分都在軟件層面，就如10年前提的NGN。個人認為這是一個方向，但就如NGN一樣，還是一個廠商同時提供軟件和硬件，如何用戶很傻很天真認為以后拿EMC的軟件，下面購買HDS的硬件，估計很多功能實現不了，死得很難看。
今天也看了FORREST的SDS的分析報告，由于他們的分析師都在北美吧，因此都太樂觀了。他們說現在存儲的花費只占IT的總花費的7%，但存儲的容量再增長，因此客戶會很快轉向SDS，先是軟件+存儲的形態，最后發展為純軟件的形態。個人認為中國5年內不用看這個報告。存儲界所用的IT技術是業界發展最慢的，我們10多年前就用FC技術，現在還是，只是速度提升了。因此，你學會存儲的基礎，可以吃老本。IP就不行了，協議變得越來越復雜，幾個月不學就沒有共同語言了。
好，侃了那么多，我們還是回到存儲軟件，這里我們指高端存儲的軟件功能，看高端存儲一般提供什么有區別于中低端存儲的軟件功能。我按照重要性排個序：
1. QOS功能：我認為這是一個最重要的功能?，F在的高端存儲承載的業務很多，如何保證各個應用的SLA？個人認為沒有QOS，不能叫高端。上次我們提到EMC嘲笑3PAR的存儲性能曲線會唱歌（性能不穩定），就是不支持QOS。QOS的控制，一般從優先級，I/O，帶寬甚至專門的緩存分區4個方面來控制。這里不能不提一下華為的HVS，號稱4個功能都有，而IBM DS8870只支持優先級，HP 3PAR不支持QOS，HDS的高端剛出來的時候，宣傳的亮點就是緩存分區功能；這些功能一般中端存儲沒有或者功能比較簡單。
2. 容災功能：這個功能我認為是第二重要的功能。這個功能如遠程復制，原來中端存儲沒有的，但現在基本都有了。但關鍵不是有無問題，是功能和性能問題。高端存儲可以做到兩地三中心的容災（今天看到HDS也支持四中心的方案），能夠支持秒級的RPO，這些功能中端是做不到的。
3. 自動分層：原來的高端存儲只支持FC盤，好像這個功能不重要?，F在SSD和SATA都支持了，因此自動分層也成為高端存儲非常重要的功能。有些廠商只能做到2層，有些廠商可以做到3層。HDS甚至可以根據轉速來分層，如SAS 15K轉和10K轉分成兩層。EMC和3PAR甚至可以把其他的存儲當做一層，支持4層，EMC叫聯合分層存儲。
4. 虛擬化：高端存儲可以接管其他廠商的存儲，HDS的高端首先實現，華為HVS也號稱支持。這個功能技術含量比較大，主要是要做大量的兼容性測試。
5. 自動精簡配置：這個功能能夠大大提高管理的效率，節省首次購買成本。也是高端必備的功能之一。
6. GUI管理和provisoning API接口：高端功能復雜，用戶需要簡單的易用的管理工具，否則這些功能很難用起來。另外需要提高SMI-S的API和其他管理平臺對接，提供provisioning API和用戶的業務軟件軟件對接。
以上6個功能我認為是高層存儲大部分都應該有的，這也是區別中端的標志。當然，每個人都有自己的觀點和優先級，你是如何看的，歡迎直接回復微信分享你的觀點。
除此之外，可靠性是一個高端存儲系統的重要指標，和硬件強相關，因此我就沒有寫到關鍵軟件特性里面。不過這提醒我，應該把安全性作為一個重要特性，這也是區別于中端陣列的標志，主要體現兩個方面：
1. 支持全盤加密Full Disk Encryption(FDE)。這個特性傳統的高端陣列都支持，中端好像沒有見過。做金融的都知道有一個支付卡行業數據信息安全標準Payment Card Industry Data Security Standard (PCI-DSS)，這個標準就是金融行業的圣經，高端存儲支持全盤加密，可以幫助客戶拿到這個認證。不說存儲，網絡設備也要認證才行，我在泰國工作的時候，由于CISCO網絡設備（其實應該是解決方案）取得這個認證，它利用這個門檻多年一直把友商排斥在外?，F在民間流傳中國某銀行高端存儲硬盤壞了，廠商拿回日本修理，導致信用卡用戶數據泄露。因此，高端存儲如果沒有這個特性，金融的主流市場就很難進入了。
2. 支持T10標準完整性字段DIF(Data Integrity Field)規范。這個特性一般中端也不支持。也就是每個數據塊增加一個CRC字段，保證數據不管如何傳輸，都是完整的。如果要端到端，需要數據庫，HBA卡和高端存儲同時支持才能端到端實現。
以下和大家分享一下我學習高端存儲的心得，希望有心鉆研的微友參考，少走一些彎路：
1. 在各個高端存儲廠商上注冊一個賬號，下載所有高端存儲的產品手冊和技術白皮書學習。個人經驗，不要看售前資料，很多是忽悠的，先看售后資料再看售前資料；免費注冊的賬號能夠下載大部分的內容，有一些內容拿不到，就需要找業內的朋友幫忙了。
2. 如果大家有iPAD，推薦注冊一個美國的賬號。用iBOOK下載IBM的redbook閱讀（用中國賬號不能找到這些資料）。
90年代我學網絡的時候，拿著思科的DOC CD天天讀，后來學存儲，發現沒有一個廠商的文檔有思科的好。這段時間看IBM的redbook，發現真的是IT的圣經，文檔的可讀性、完整性和邏輯性都很強，和思科有一拼?，F在我一有時間就拿IPAD把redbook當小說看，包括上廁所的時候。進步很快。
好了。說了這么多，也說一點可恨的地方。國外高端存儲所有的稍微詳細一點的資料，都是英文的。為什么我們一直希望高產高端存儲快點能夠成長起來，這樣也是方便用戶。用戶用個高端存儲，如果購買國外廠商，除了國家安全層面外，語言是最大的問題。你可能會說，EMC好像菜單也有中文的了，這個簡單的界面翻譯太小兒科了，你會發現，大部分的產品手冊都是英文的，如果你的設備出了問題，可能稍難一點的都需要找老外溝通。我在泰國工作的時候了解到，HP在泰國份額超過EMC很多，主要就是HP售后熱線提供泰語的服務。哎，不說了，希望以后的人學習高端存儲看中文就可以了，但現在階段，你必須把英文手冊當小說看，否則你是學不到多少東西的。
希望大家積極反饋你的意見和建議，微信掃描如下二維碼，關注微信公眾號“高端存儲知識”，與作者微信互動。
