RDMA有什么優勢?

延遲低

參考上圖，傳統TCP/IP數據傳輸方式需要經過大量協議層，RDMA通過Kernel Bypass方式可以避免那些開銷。市場上在售的Mellanox CX3 PCIe3 FDR HCA延遲小于1ms。

高帶寬

經過測試，Mellanox CX3 PCIe3 FDR HCA 帶寬可以超過50Gbps。

低CPU使用率

由于RDMA減少大量內核協議處理工作，數據實現零拷貝，因此計算機CPU使用率可以大大減少。

RDMA可用方案：

基于以太網(iWARP)

基于聚合網 (RDMA over Converged Network)

基于Infiniband (RDMA over infiniband)

RDMA常見應用場景：

RDMA常見使用場景包括：HPC高性能計算，集群數據庫(IBM DB2 pureScale和Oracle ExaData/RAC)，分布式文件系統(IBM GPFS和Lustre和Red Hat Storage Gluster)，分布式Cache(Dell RNA)，金融領域和大數據(Hadoop：Mellanox加速器)

vSphere可選 RDMA方案：

全功能模式DirectPath I/O passthrough

SR-IOV VF模式的DirectPath I/O passthrough

半虛擬化的RDMA HCA(vRDMA)

前兩種方案現在已經可用，第三種方案還在開發中。

vMotion與RDMA：

vMotion是vSphere專門提供用于虛擬機在線遷移的功能，現有方案基于TCP/IP協議。由于虛擬機遷移最大的問題是需要在兩臺ESX/ESXi服務器之間同步虛擬機的內存，因此當虛擬機內存很大， 而且業務很繁忙時，虛擬機在線遷移會對ESX/ESXi服務器性能產生嚴重挑戰。如果vMotion基于RDMA，可以在遷移過程實現數據零拷貝、低延遲、消除內核中TCP/IP的協議開銷。

測試項目

SPECjbb2005 50GB workload

測試環境

Two HP ProLiant ML 350 G6 machines, 2x Intel Xeon (E5520, E5620), HT enabled, 60 GB RAM

Mellanox 40GbE RoCE cards •ConnectX-2 VPI PCIe 2.0 x8, 5.0 GT/s

56 GB, 4 vCPU Linux VM

測試結果

通過測試可以發現，基于RDMA在線遷移對比TCP/IP可以節省36%時間，帶寬性能提升30%，遷移過程中源ESX服務器CPU使用率下降92%，目的ESX服務器CPU使用率下降84%。