數據存儲產業服務平臺

重復數據刪除技術在備份中的應用體會

2007年底,熊貓電子集團選擇EMC Avamar重復數據刪除技術,建成了同行業中領先的數據備份系統。目前,這一技術已經在熊貓電子成功應用近一年了。在此介紹我們的應用經驗,希望可以給國內同行提供有益的啟示。

數據對熊貓集團的意義

南京熊貓電子集團創始于1936年,是一家具有70多年歷史的國有綜合性大型電子信息企業。1996年,熊貓集團控股的南京熊貓電子股份有限公司分別在香港聯交所和上海證交所上市,成為國內電子行業第一家擁有H股的上市公司。南京熊貓電子集團下設家用電器產業集團、機電儀產業集團、通信產業集團、信息產業集團、新產業集團、電子制造產業集團等多家子公司,建有4個國家級工程技術研究中心、3個省級工程技術研究中心、4個市級工程技術研究中心、國家第一批博士后工作站。公司主要產品和服務包括:衛星通信設備、移動通信設備、短波通信設備、彩電、個人數碼娛樂產品、電子制造、儀器儀表、大生產裝備、軟件服務、系統集成等。公司還參股多家合資企業,包括南京愛立信熊貓通信有限公司、北京索愛普天移動通信有限公司、南京泰雷茲熊貓交通系統有限公司、南京LG熊貓電器有限公司、瀚宇彩欣(南京)科技有限公司等。

南京熊貓電子集團對各個子公司實行集團化管理,在集團總部部屬了財務、Web網站、人力資源、OA、CRM等多套集團信息化系統,對子公司的業務運營進行集中支持和管控。信息系統對集團的正常運轉非常關鍵。

信息中心作為信息系統的責任部門,最擔心的就是數據丟失。系統故障總是可以恢復的,只不過是時間問題,換一臺設備、重建系統也相對容易。數據丟失的風險則要大得多,信息中心的責任重大。

集團的數據量越來越大,對信息系統的依賴性越來越高。為了確保業務連續性和數據安全性,2007年底,熊貓集團開始建設新一代的數據備份系統,目標是提高數據保護的級別,實現更高標準的RTO(恢復時間目標)和RPO(恢復點目標)。

原有備份方案的挑戰

熊貓電子集團需要保護的核心數據較大,主要是數據庫數據和文件服務器,未來預計有快速的增長。此前的保護措施是備份至本地磁帶庫,備份策略為周五晚全備份加平時每天的增量備份。

熊貓電子集團的信息系統晚上一般不需要處理業務。所以每天下班后利用晚上時間備份,雖然一次全備份的時間較長,但備份窗口還夠用。

不過,人無遠慮,必有近憂。我們主要有兩點擔心:一是之前的磁帶備份除了恢復時間長以外,還有一大缺點就是可靠性不夠高。南京地區梅雨季節比較長,磁帶受潮容易發霉。本以為數據都已經備份到磁帶上,結果磁帶讀不出數據,那就麻煩了。二是如前面所說,整個集團的數據都在這個信息中心。如果遇到火災、臺風這類影響到整個機房的災害,后果會很嚴重。所以信息中心決定做一個異地備份,多一道保障。顯然,每天將備份磁帶轉運到異地保存是不可行的。即使不考慮每天轉運的人力物力花費,也會因為費事而難以堅持。而且,即使堅持轉運了也不是很可靠。

看好重復數據刪除技術

熊貓電子考慮在相距5公里的地方建一個數據容災備份系統,兩地間連接的是商用IP網絡,其帶寬為2Mb/s。由于帶寬小,可以通過的數據量非常有限,因此需要一套先進的方案,有效降低對帶寬的要求,同時又能可靠地進行備份。

經過多方考察,我們發現,重復數據刪除技術是一個比較理想的方案。備份數據的重復率是非常高的。例如,辦公自動化系統中,文件流轉、版本修訂比較普遍,一個文件可能抄送給多個人,一個文件可能有多個版本,這其中有大量的重復數據。尤其是文件比較大的時候,備份時重復的存儲空間占用相當可觀。重復數據刪除技術就能解決這個問題。所有重復的數據,系統在備份時只保留一份,在重復出現的地方,只保存一個數據地址?;謴蛿祿r,數據能夠自動還原。這正是熊貓電子需要的技術。

EMC Avamar是業界最優秀的重復數據刪除技術之一,它是一種源端的全局重復數據刪除技術。其特點是,在數據源開始處感知應用,能夠針對具體應用數據(例如,Oracle數據庫、SQL Server數據庫、Word文檔、PPT文檔、電話錄音、流媒體等等)的特點,實現最大限度的重復數據刪除,刪除率高達300:1甚至更高。例如,公司一個介紹性的PPT文檔,今天張總接待使用,會保存一個署名張總和相應日期的版本;明天陳總出訪演示,會保存一個署名陳總和相應日期的版本。兩個文件只有一頁不同,其它內容都一樣。EMC Avamar能做到,第二次備份時,只保存改過的那一頁。

新型備份方案性能出色

熊貓電子在中心機房搭建一臺備份服務器,部署EMC Avamar技術。備份數據經過EMC Avamar去除重復以后,再通過IP網絡傳輸到容災備份中心,備份到這里的Avamar Data Store存儲陣列上。在熊貓電子的應用環境上,Avamar的重復刪除率達到100:1。由于傳輸的數據量非常小,大大節省了帶寬,縮短了備份時間,也節約了備份空間。原來每天要備份好幾小時,現在每天只要幾十分鐘就完成了。綜合比較下來,采用EMC Avamar新一代備份方案,比傳統的備份方式代價低得多,RTO和RPO卻提高了很多。

Avamar數據保護方案簡化了數據恢復操作。與傳統解決方案不同,Avamar備份每天都是生成的完全備份,而不是傳統備份方式的“全備份+增量備份”,Avamar只需操作一次就可以恢復所需要的時間點數據。Avamar對文件的恢復很簡單,既可以使用傳統的恢復操作,也可以通過Web頁面的下載方式進行。

由于數據是備份到存儲陣列的,存儲陣列上有RAID冗余磁盤技術,可以隨時、自動對數據進行校驗,可靠性提高。從數據恢復速度看,磁盤備份比磁帶備份的速度高一個數量級,數據可用性的提高不言而喻。

為了充分利用已有投資,多提供一重數據保護,除了用Avamar進行異地備份外,熊貓電子將之前的本地磁帶庫備份繼續保留。

未來的計劃

EMC Avamar的擴展性不錯。將來熊貓電子的其它分支機構或廠區如果需要備份數據時,只要和Avamar的服務器建立網絡連接,就可以將數據備份至Avamar上。如果需要加強數據的保護級別,可以再增加一個節點,和現有節點之間做數據鏡像。如果未來的數據增長非???,則可增加多個Avamar節點組成EMC專利的RAIN結構,既增加了備份空間,又使數據的保護更加可靠。

我們的經驗是,對新技術要既大膽又謹慎。謹慎的是注重投資回報,大膽的是敢吃螃蟹。我們是國內較早采用IPS(入侵防御系統)技術的,應用效果不錯,熊貓電子的供應商都來取經。采用重復數據刪除技術也是國內領先的。

下一步,我們的計劃是,采用VMware虛擬化技術,搭建一臺高配置的服務器,把各個應用服務器都備份成虛擬機,放在這臺服務器上。這樣,當某個應用服務器出問題時,可以先用虛擬機工作,并馬上通過虛擬機恢復系統。數據和系統都有備份,而且可以實時恢復,進一步提高系統的可用性。

未經允許不得轉載:存儲在線-存儲專業媒體 » 重復數據刪除技術在備份中的應用體會
精品国产午夜肉伦伦影院,双性老师灌满浓jing上课h,天天做天天爱夜夜爽,攵女乱h边做边走