圖1 SMR磁盤與普通磁盤磁記錄方式對比

SMR技術將來也可應用于微波輔助磁記錄（Microwave-Assisted Magnetic Recording, MAMR）和熱輔助磁記錄技術(Heat-Assisted Magnetic Recording, HAMR)技術來提高容量，但對磁盤的制造工藝改變較大。SMR技術只需對現有磁盤做少量修改即可實現，目前如希捷、西數等主要磁盤供應商的產品線中都有SMR產品。

2.天翼云OOS KVDisker成功突破SMR技術瓶頸

目前SMR技術已成功應用在中國電信天翼云OOS（對象存儲）產品系列中，并在天翼云OOS第五代存儲產品中進行了規模商用，其成熟度得到了實踐證明。同時，天翼云計劃在OOS第六代（國家級存儲網絡）中更大規模的使用。據業內磁盤廠商了解，天翼云或是國內第一家商用SMR技術的公司，成為存儲領域創新應用的標桿案例。

1)?? ?SMR技術存在的局限與面臨的挑戰

SMR技術增加了容量，降低了成本，但這種技術應用也帶來了問題與挑戰。磁道重疊后必須順序寫入，否則會對相鄰磁道的數據造成損壞。正因為如此，目前業內常用的磁盤文件系統，例如EXT/XFS等，由于需要隨機的修改數據從而無法運行在SMR磁盤上，這對SMR的應用帶來了不小的困難。據業內人士表示，目前僅有微軟Azure等極個別國際云計算巨頭有足夠的技術規模商用SMR磁盤。

中國電信天翼云對象存儲（Object-Oriented Storage，以下簡稱OOS）一直在努力降低單位存儲空間的成本和能耗。在SMR磁盤上市的第一時間就聯系相關服務器和磁盤供應商，開始了對SMR磁盤的測試。

應用SMR磁盤主要存在以下幾個方面的問題：

1、若采用Drive Managed SMR模式，在磁盤內部實現順序寫入，應用不需做任何修改。由于上層業務寫請求是隨機的，磁盤固件資源有限，性能無法保證，幾乎無法滿足業務需求，只適用于寫入后不再修改的歸檔數據，無法用于OOS標準存儲。據業內人士透露，曾有公司為了降低成本但又不想投入研發使用此類磁盤，導致性能過低，最終放棄使用。

2、若采用Host Managed SMR模式，將磁盤分為若干個Zone，Zone之間可以隨機寫，Zone內部必須順序寫。Host Managed SMR將Zone管理接口提供給主機，由主機保證數據的順序寫入。由于引入了新的磁盤類型、新的管理命令，所以沒有現成的文件系統可以支持，需要對文件系統進行修改或重新開發新的文件系統。目前還沒有成熟的文件系統實現了對Host Managed SMR磁盤的兼容。

3、在操作系統內核和HBA卡的兼容上需要進行嚴格的測試。不兼容的系統可能無法識別SMR磁盤，不兼容的HBA可能導致磁盤收到的SCSI命令亂序，進而導致寫入失敗。

4、垃圾回收（Garbage Collection，以下簡稱GC）：SMR磁盤要求順序寫入帶來的問題是刪除的空間不能直接重新利用，必須把有效數據移動到其他位置才能回收空間。GC會帶來寫放大，影響性能。如何合理的設計空間分配及回收算法以減少不必要的數據移動是SMR最終是否可用的一大挑戰。
5、數據重構時間久：超大容量硬盤，一旦出現故障，其數據重構時間將非常漫長，如果數據重構期間又有磁盤損壞，對于副本數較少的對象來說可能會造成數據丟失。

2）天翼云OOS如何突破SMR技術瓶頸？

雖然SMR磁盤的應用存在諸多技術挑戰，但通過行業領先廠商的產品趨勢，我們能看到未來硬盤的發展方向，SMR技術將成為主流，即使未來會有諸如HAMR等進一步提升磁密度的技術出現，只要寫數據寬度大于讀數據寬度，SMR技術就會一直存在。同時，與SMR所對應的“順序寫”或許是未來的一種趨勢，因為固態盤也需要類似的機制對閃存顆粒的磨損進行平滑處理。因此天翼云OOS的研發團隊從2015年起就堅定不移的對Host Managed SMR進行自主研發。

中國電信天翼云OOS通過產品設計和研發實力，在軟件層做了大量的優化、消除，解決了技術提升帶來的負面影響，突破了SMR的技術局限性，體現疊瓦式存儲給單碟存儲容量提升帶來的優勢，既能夠提高單機存儲容量的上限，又可以避免帶來讀寫效率、讀寫性能上的瓶頸。

同時，結合中國電信OOS的特點，天翼云設計了可以兼容SMR磁盤的一套類似文件系統的Key-Value存儲系統——KVDisker。結合對象存儲的特性，KVDisker能夠有效降低SMR技術引用帶來的問題與風險，將技術與應用完美的融合在一起，實現了在業界內領先應用基于SMR技術的磁盤。值得說明的是，KVDisker是中國電信天翼云OOS研發團隊完全自主研發的技術：不基于任何現成的文件系統（如EXT/XFS），而是直接讀寫磁盤；也沒有使用任何支持SMR的開源軟件，代碼全部自研；除與磁盤供應商的上下游關系外，沒有得到任何廠家的外部支持。經過一系列嚴格的測試，天翼云OOS研發團隊還幫助磁盤供應商發現并解決了磁盤固件中的一些bug，雙方的產品質量都得到了提高。

KVDisker在OOS系統中的位置如圖2所示。其中，

(1)Object層負責協議的解析及對象屬性的保存；

(2)Ostor層負責對象的冗余保證；

(3)KVDisker負責讀寫磁盤：對上層業務，KVDisker直接提供Key-Value API，可以很容易的接入到OOS現有系統中；對下層磁盤，KVDisker直接管理PMR和SMR磁盤，不需要文件系統。

圖2. KVDisker在系統中的位置

綜上所述，KVDisker針對SMR磁盤應用中可能遇到的兼容性問題、性能問題、垃圾回收效率問題、下盤速度問題進行了針對性優化。

2.1 兼容性

天翼云聯合廠商對主流的HBA卡進行了嚴格的測試。針對可能存在的SCSI命令亂序問題，通過在應用層順序分配空間來保證指令的順序發送。

2.2 性能

在性能方面，天翼云從元數據、數據、空間分配三個維度，全面的提升了讀取、寫入、遍歷、檢索的效率。

1、元數據：對比文件系統大而全的元數據結構，KVDisker的元數據僅保存了時間戳、數據位置、校驗值等必要的數據，這樣KVDisker的元數據很小，大大的提高了檢索效率。

2、元數據保存：文件系統的元數據保存在磁盤的各個位置，導致遍歷文件慢。KVDisker的元數據有序的保存在磁盤的傳統區域，在特定測試環境下，遍歷效率比文件系統提升10倍。

3、元數據讀?。篕VDisker讀取元數據只需要一次請求，不需要查找目錄，提高了讀取效率。

4、空間分配：KVDisker順序的分配空間，充分利用了磁盤順序寫入快的特性，提升寫入速度。

5、數據讀?。篕VDisker直接發送SCSI指令讀取數據，對超長的數據并行發送多條SCSI指令，充分利用磁盤請求隊列，優化讀取速度。

2.3 垃圾回收

目前市面上的SMR磁盤每個Zone大小相等，都為256MB，回收一個Zone的數據需要先讀取有效數據，然后寫入一個空閑的Zone，最后更新元數據，整個過程可能需要數秒。對于SMR磁盤，垃圾回收算法設計是否合理嚴重影響系統性能的穩定性，寫入數據的同時進行垃圾回收會帶來響應延時，影響業務和用戶體驗。GC會導致寫放大，合理的選擇GC的Zone，能夠減少移動數據的總量，提升系統性能，減少能量消耗。

底層系統很難確定哪些是冷數據，哪些是熱數據，一般認為寫入時間越久的數據刪除的可能性越小。上層業務卻可以知道部分記錄的生命周期。對象存儲中，用戶可以為Bucket（容器或桶）用戶設置生命周期、過期后即會被刪掉，以及系統的日志記錄，定期會將過期數據刪除，盡量不進行垃圾回收。對象存儲中的歸檔數據，用戶會保證至少保存一定時間，刪除的可能性小，優先進行GC。KVDisker將這種具有相同生命周期的數據寫入到相同的Zone，合理區分冷熱數據。

KVDisker設計了一套動態選擇回收的Zone的機制。根據系統的繁忙程度、容量使用情況確定是否進行GC以及GC的并發數。根據Zone中數據的最后寫入時間、有效數據比例選擇回收的Zone。GC移動的數據，會按照寫入時間或生命周期不同分別寫入不同的Zone，使冷熱數據分離。KVDisker的GC算法極大的降低了GC移動的數據量，減少了對業務的影響。

2.4 下盤速度

磁盤容量增大后，如果在磁盤下線的過程中再次發生磁盤損壞就有可能導致數據丟失。OOS下盤時整個集群的磁盤參與數據重建，加上KVDisker遍歷速度快的特點，磁盤下線速度明顯提升。在特定測試環境下，速度能提升至少50%。

2.5 可靠性

KVDisker設計充分考慮了對數據安全性的校驗。KVDisker對數據、索引和日志都設計了校驗，讀取時可以及時發現任何錯誤。

由于磁盤的物理特點，可能會有部分扇區出現unreadable，如果不能及時發現對應的記錄，并進行修復，很可能會發生數據丟失的問題。KVDisker設計了按照數據存放位置排序進行的索引，通過遍歷位置索引，利用磁盤順序讀取快的特點，順序的檢查磁盤數據的完整性，及時發現錯誤的記錄。

KVDisker設計了修復回調接口，對于審計失敗和讀取失敗的數據，以回調的方式通知上層應用及時修復。通過壞塊的修復功能，可以顯著減少換盤的頻率，降低系統負載，減少工作量。

KVDisker的操作具有原子性，不會出現部分Key或Value數據殘留的情況。這一優于普通文件系統的特性使得在處理數據沖突的時候，不需要任何加鎖行為即可保證數據的一致性，這不僅簡化了編程，還提高了并行處理效率。

3. KVDisker的應用場景

應用場景1：視頻監控產生的數據量巨大，需要大量的存儲空間，數據會做定期刪除。

應用場景2：云盤和歸檔數據需要的空間大，刪除的頻率低。

存儲數據量大，需定期刪除或刪除率低的情況，都非常適用SMR磁盤。采用SMR磁盤可以使用更少的服務器，更少的機架空間，更少的能源消耗。

中國電信于2017年率先在部分省份規模部署了基于Host Managed （非Device Managed）SMR磁盤的云存儲集群，并搭配KVDisker使用。所采用的8TB SMR盤與6TB普通盤物理材料基本相同，使用8T SMR盤可以減少33%的服務器數量。6T磁盤與8T磁盤功耗基本一致，也可以節省大約33%的能源消耗?；贖ost Managed SMR的OOS在KVDisker的支持下，運行至今效果非常好，開始進入了大規模商用階段。

目前部分主流磁盤供應商都已經發布了基于氦氣的14T規格的SMR磁盤。由于氦氣的密度只有空氣的1/7，更小的風阻大大降低了磁盤轉動功耗，同時也使得磁盤碟片可以更接近以提升單磁盤容量，少機房空間占用，降低能源消耗。與業界通用的8T普通盤比較，8T普通盤和14T盤的功耗基本是一樣的。如圖3所示，采用14T SMR磁盤大約可以節約40%的機架空間，降低43%電量消耗。

圖3. 使用8T普通盤和14TSMR盤對比

在可見的預期內，SMR技術離實現大規模應用，仍有一段艱難的路要走，中國電信天翼云OOS產品將致力于為用戶提供最優服務，以技術創新助力存儲技術的未來發展。