由于視頻監控的整體業務系統需要使用文件接口對數據進行訪問,客戶在前期考察了大量集中式文件存儲和分布式文件存儲系統。

對于集中式文件存儲,難以支持單集群4PB的有效存儲容量需求,即使個別廠商的中高端NAS支持單集群4PB容量,其成本以及后續二期項目的擴展性都無法滿足要求。對于市場上主流的分布式文件系統產品,為了確保其讀寫訪問性能,大多只能采用副本方式進行數據可靠性保護,無法滿足視頻監控系統對存儲的磁盤利用率要求。此外,考察的分布式文件存儲對海量文件支持,以及大文件、小文件混合讀寫性能,都存在一定缺陷。

YRCloudFile視頻監控存儲方案

經過反復驗證和實際測試,焱融云給客戶提出的集中式雙控FC SAN存儲+YRCloudFile單副本高可用方案,最終獲得了客戶的認可,并于最近成功落地。

在該方案中,底層采用了兩套集中式雙控FC SAN存儲陣列,各提供2PB有效存儲空間,通過兩臺16Gb光纖交換機,連接至前端多臺標準x86服務器,將SAN陣列提供的LUN掛載至x86服務器中。焱融云在這些x86服務器上部署了YRCloudFile的元數據服務,利用SAN陣列掛載的LUN組成YRCloudFile高性能分布式文件集群。該方案具有如下特點:

1、YRCloudFile向上層各個業務系統提供標準的POSIX文件訪問接口,用戶采購的視頻監控及卡口監控系統無需進行適配和修改,均順利完成對接。

2、方案中的數據可靠性通過底層雙控FC SAN陣列得到有效保障,YRCloudFile對x86服務器中使用的LUN只需使用1副本。

3、為了避免1副本情況下,由于單臺x86服務器故障,導致業務無法訪問掛載在該服務器上的LUN的數據,焱融云將FC SAN的每個LUN都均勻掛載到一臺以上的x86服務器上,當任意一臺x86服務器出現故障,該服務器上正提供YRCloudFile數據訪問的LUN被YRCloudFile集群自動將其數據服務切換至另一臺x86服務器上,使用YRCloudFile存儲服務的應用程序完全無感知,全程無需人工干預。當故障服務器恢復時,原來運行在其上的數據服務,可以重新被均衡回原有服務器上。焱融云將這種技術稱為YRCloudFile單副本高可用的運行方式。整體架構圖如下所示:

4、通過YRCloudFile單副本高可用功能+雙控FC SAN陣列,使整體方案的磁盤利用率高達70%,可有效控制總體成本。

5、整個落地方案中,從YRCloudFile集群、兩臺FC光纖交換機、SAN陣列雙控制器、到SAN陣列內部磁盤組及熱備盤,都實現了高可用,達到了系統的整體高可用要求。

6、YRCloudFile通過10Gb以太網連接至業務系統,整個文件存儲集群提供超過6GB/s的整體帶寬。

7、在實際測試中,YRCloudFile單集群在12億文件規模下,文件創建、刪除性能無任何衰減(分別對應下圖中creation和removal文件操作),同時對小文件的讀寫訪問(可對應下圖中的stat操作以及對LUN的IO操作)可提供持續穩定的高性能訪問,很好地滿足了支持海量文件,以及大文件和小文件混合讀寫的需求。

8、在方案中,YRCloudFile使用的是來自底層FC SAN陣列的存儲空間,因此,在二期進行擴容時,只需采購新的SAN存儲陣列,并相應增加上層YRCloudFile的x86服務器,即可完成容量擴容,同時維持單一的文件系統命名空間。

目前基于上述方案的分布式文件存儲系統已經成功地投入正式運行,從實際使用效果看,這套存儲系統給上層業務帶來的整體性能和可用性確實遠遠優于選型時考察的其它方案,用戶對此也充分認可。 

通過該項目的成功落地,充分驗證了SAN陣列+YRCloudFile單副本高可用的技術,可以為平安城市、雪亮工程、智慧城市等項目提供高性能、支持海量文件、磁盤利用率高、高可靠、成本可控的存儲解決方案,我們也期待著焱融云的存儲技術能為更多的城市和市民服務。

未經允許不得轉載:存儲在線-存儲專業媒體 » 焱融云為平安城市打造PB級海量存儲平臺
分享到

zhangnn

相關推薦

精品国产午夜肉伦伦影院,双性老师灌满浓jing上课h,天天做天天爱夜夜爽,攵女乱h边做边走