本文作者Henry Newman是一名行業分析師，在高性能計算和存儲領域擁有28年的經驗。
我最近對一些文件系統標桿信息和公布的測試結果感到生氣。廠商們利用這些標桿來吹噓他們自己的文件系統可與X品牌媲美，但是這些文件系統標桿不能像SPEC（標準性能評估中心）標桿那樣看待，因為SPEC的設計可以防止廠商們歪曲其結果。
文件系統標桿的一個大問題就是它們正好和SPEC標桿相反：廠商之間還沒有達成任何一個標準的文件系統標桿。我曾經做過標桿工作，而現在我認為自己思想已經發生轉變，因此我知道廠商們在標桿上玩的花樣。下面我們將看看這些花招，希望你能夠通過這些信息成為一個更加見多識廣的消費者。
什么是真實的標桿？
我們每個人都應該捫心自問：什么是真實的標桿？這里是我的定義：一個真實的標桿能夠代表你的實際工作負荷，其標桿測試過程就運行在真實的系統以及真實工作負荷所發生的時間段。注意下面一些要點：
這里的工作負荷不是指你今天運行在系統上的工作負荷，而是指你將要在新系統上運行的工作負荷。
為了能夠完全反映真實情況，該工作負荷的運行方式應該和在你系統上的運行方式一致。
內存使用情況是文件系統標桿測試的重要一部分。如果你不是運行像數據庫這樣的真實的應用程序，而是使用像IOZONE這樣的標桿測試，那么I/O請求有可能被合并成數量更少、規模更大的請求，而如果你是運行真實的應用程序的話，有可能不會出現這樣的I/O請求情況。這樣，內存I/O測試結果有可能看起來比真實世界的實際結果更好。
碎片是另一個大問題。我所看到的每個文件系統都曾因為碎片問題而出現性能下降。這些碎片多發生在數據和文件系統元數據上。但是，我從來沒有看到過任何一個標桿測試一下文件系統的碎片。廠商每次都聲稱它們的文件系統不會因為碎片而性能下滑，但是我從來不信，我也沒有在真實世界中看到過廠商們所描述的情況。只有在一種情況下碎片才不會成為問題：購買一個系統，創建一批文件，然后再也不修改任何文件或增加任何存儲。我可從來沒看到過這種類型的固定內容環境，我也懷疑其他人是否這樣用文件系統。
我這里只是舉了兩個例子，實際上還有更多需要考慮的因素，比如底層存儲和互聯方案。就我所見，沒有人曾經做過真實的文件系統標桿測試。他們沒有考慮文件系統碎片，而且也經常不使用真實內存空間、帶寬和CPU下的真實應用程序。
標桿測試花招
這里是一些常見的文件系統標桿測試花招。
內存使用
這里我花更多筆墨描述一下內存帶寬和內存空間。在PCIe 2.0出現后，每個總線現在都可以支持至多5GB/秒的內存帶寬。從內存帶寬來說，英特爾Xeon處理器5100系列擁有1333MHz的前端總線，而且FBDIMM（全緩沖內存模組）擁有21.3GB/秒的帶寬。因此，一個PCIe 2.0總線可以使用設備內存總帶寬的23%左右，而兩個PCIe 2.0總線可以使用46%的內存帶寬。如果你是運行真實的應用程序而不是標桿測試，而且你和其他應用程序正在進行I/O操作，那么你的應用程序肯定會使用帶寬，因此一個不使用帶寬的文件系統標桿測試肯定不符合真實世界工作負荷的情況。
多數文件系統會根據應用程序負載使用不同大小的內存。如果不使用相同或相近的內存量，你就無法判斷文件系統在進行內存緩沖的時候對你的I/O請求做了些什么。我最近看到一個廠商所發表的一些測試結果顯示它們的文件系統擁有驚人的性能。如果你仔細閱讀它們的硬件規格和標桿測試結果，你會發現數據庫在測試過程中有足夠的內存量與其相匹配。因此，這種情況下，I/O只是一個后臺過程，其作用只是同步這些文件，而通過高速緩存，可能還可以異步地進行。這個廠商所采用的對比是：另一個文件系統使用直接的I/O來即時地將數據寫入存儲，其請求大小和標桿測試的請求大小相同。很明顯，這不是一個公平的比較，而且由于該廠商的文件系統在測試過程中沒有支持直接I/O，因此該廠商的標桿測試結果尤其值得懷疑。
存儲子系統
除了將光纖通道驅動器或SAS驅動器作為標桿一方，并將SATA驅動器作為比較的另一方這樣顯失公平的做法外，廠商們還有其他做法。一些文件系統對超過一定大小的數據進行直接的I/O讀寫。假設該廠商是公平的，即在測試中使用大小超過內存的文件以及像數據庫那樣的大型的I/O請求，然后進行磁盤讀寫，但是這里假設該廠商的文件系統是專門針對小型塊分配和讀寫操作的，而且不支持直接I/O。為了讓其他文件系統顯得糟糕，可以使用RAID-1（獨立磁盤冗余陣列），而不是RAID-5或RAID-6。如果塊分配很小，而且大型請求被分解成小型請求，那么使用RAID-1有助于拉平其他文件系統在這類測試中的性能表現，讓它們顯示不出應有的優勢。
可調文件系統
一些文件系統有缺省調整集，可以根據特定的I/O請求大小和線程數量進行調節。我曾看到一些廠商通過調整集讓其他文件系統看起來表現比較差。當然，一些文件系統有數百個可調選項，因此要尋找一個合適的比較對象比較難，但是許多廠商在其他文件系統的缺省調整集上使用比較差的選擇，這樣可以就可以歪曲比較結果。我曾經看到過一個廠商在標桿測試中，調整它自己的文件系統但是不調整其他文件系統，或故意在另一個文件系統上選擇比較差的設置。
I/O測試
多數廠商在I/O標桿測試中不運行真實的應用程序。雖然有一些廠商使用真實的應用程序，但是其I/O標桿和應用程序也有可能是具有迷惑性的。一些特定的應用程序有專門的文件系統調整選項內置在應用程序中，你必須知道一些數據庫、文件系統標桿和其他應用程序內置有針對特定文件系統的調整集。IOZONE是一個常見的標桿，該標桿在遇到VxFS文件系統和HP-UX操作系統的時候會有一些性能變化。這并不是說IOZONE是不好的測試，但是從這個例子中你應該了解到在任何I/O測試中（無論是數據庫還是其他標桿）都必須關注潛在的問題。
FUD因素
市場營銷部門的目的是為了傳播FUD（恐懼、不確定和懷疑），以影響你的決策。我最近看到的一些文件系統標桿就是如此，很多標桿實際上無法幫助你確認這些文件系統在實際環境下的情況。希望你能仔細閱讀這些標桿，并記住這些標桿的問題和你自己的要求。
