加速加速,超低延遲的對象存儲來了!

Amazon S3  Express One Zone是一款性能加強版的S3對象存儲,性能最多能達到標準版S3的十倍,每秒能夠處理數十萬次請求(具體數值暫未知),并始終保持幾毫秒的延遲。

它主要面向延遲敏感型工作負載,比如金融交易分析,實時廣告推薦,欺詐檢測,機器學習訓練等場景,這些場景經常需要在短時間內發起數百萬次的數據訪問,并且延遲要求還很高。

在以前,為了提供這樣的性能,用戶需要把數據從S3挪到一些緩存加速解決方案里。然鵝,此時用戶就需要管理多個存儲基礎架構,事情會變復雜。

而現在,有了Amazon S3 Express One Zone。

實際上,它用了專用硬件和軟件來加速,它存放在單個可用區里,用戶可以手動選擇將熱數據放在離高性能算力(包括EC2、ECS和EKS)特別近的地方,從而更好地降低延遲。

我記得亞馬遜云科技在2019年的時候,收購了全閃存初創公司E8,然后,就再也沒聽到關于E8的消息了。至于這次是不是用了E8的技術。你猜???

低延遲提高了小對象的性能表現

得益于低延遲的特性,Amazon S3 Express One Zone處理小對象的性能表現大幅提高。

通常,對象存儲在處理大量小文件時的表現可能不如其他存儲系統,頻繁地讀取和寫入大量小文件會導致存儲系統性能下降。

這是因為,對象存儲系統在處理每個對象的時候,要處理元數據時都有一定的延遲開銷。另外,讀或者寫一個對象也需要一定的時間。

如果對象的個頭比較小,那么,基礎的延遲開銷占整個過程的比例就更高,系統開銷占比會更高,這時候的讀寫帶寬也比較低。

而當對象個頭比較大的時候,整個讀寫過程的大部分時間都在傳輸數據,開銷的比例就更少,讀寫帶寬就會比較高。

所以,當系統延遲比較低的時候,小型對象受益明顯,性能相比于標準版的S3,最高能提高十倍。

低延遲的S3能幫助用戶降低成本

更高性能層級的S3對象存儲通常意味著更高的成本(文末有價格信息),但實際上,亞馬遜云科技想說的是,它能省錢!

當用戶使用突發實例和按需實例時,如果搭配延遲極低的S3存儲,就能更快處理完任務,就能盡早釋放這些計算資源,從而降低成本。

沒錯,這里省的不是存儲的成本,而是云主機的成本。

當在面對數據密集型工作負載時,整個系統的運行時間會大幅縮短,特別是那些需要成百上千個機器一起干活兒的時候,效果會更明顯,能讓成本降低很多。

Adam分享了Pinterest的案例,其中,寫速度提高了10倍,而整體成本降低了40%。

始于2006年的Amazon S3改變了人們消費和使用存儲的方式,隨時隨地存取任意數量的數據的能力。

方便是真方便,貴也是真的貴,為了降低成本,亞馬遜云科技前后有很多操作。

比如,后來發布成本更低的歸檔存儲Amazon S3 Deep Archive,成本降到了每GB不到1美分的水平。

后來,隨著Amazon S3層數的增多,后來又推出了Amazon S3 Intelligent Tiering,智能分層技術,自動幫用戶在層與層之間遷移數據。

Adam表示,自發布智能分層以來,已經幫助用戶省下了超過20億美元,數據非??捎^。

Amazon S3 Express One Zone的一些特別的地方

Amazon S3 Express One Zone支持常見的S3 API函數,也支持一系列的S3都有的功能。

但跟別的S3不同的是,它有全新的桶類型(目錄桶-Directory Bucket),全新的認證模型,還有新的桶命名規則。

上圖是Jeff Bar在博客里分享的一張圖,它能把數據從某個已有的S3桶里放到新創建的,Amazon S3 Express One Zone的目錄桶里。

點確定,之后,就會自己進行批處理操作,把數據復制到高性能的桶里。

目前,Amazon SageMaker Model Training, Amazon Athena, Amazon EMR以及AWS Glue Data Catalog 都支持使用Amazon S3 Express One Zone。

目前,US East (N. Virginia), US West (Oregon), Asia Pacific (Tokyo), 以及 Europe (Stockholm) 這幾個區可用,中國區不能用。

價格方面,雖然數據只放在一個可用區里,但是價格卻比標準的S3貴了不少(0.16 vs 0.023),畢竟性能高,貴點也行,是不是?

最后要注意,它只在單個可用區里存著,如果單個可用區出問題了,數據可能就丟了。

未經允許不得轉載:存儲在線-存儲專業媒體 » Amazon S3再次進化,云上最快的對象存儲來了
分享到

zhupb

相關推薦

精品国产午夜肉伦伦影院,双性老师灌满浓jing上课h,天天做天天爱夜夜爽,攵女乱h边做边走