數據存儲產業服務平臺

云存儲:海量數據上傳云中并非易事

DOSTOR存儲在線 5月22日國際報道:谷歌和微軟沒有提供正式數據提取服務來幫助用戶將大量數據放到云中,而且它們似乎也不打算在近期推出這樣的服務。因此,潛在用戶如何利用云中的數百TB的數據就變得有點神秘了。

云供應商通過數據提取服務為客戶們提供了一個機會,讓它們可以將硬盤中存儲的數據快速上傳到云中。亞馬遜網絡服務中的輸入/輸出服務就是第一批這類服務之一,支持最多16TB的數據提取,它的設備只有14英寸高、19英寸寬和36英寸長(標準19英寸機架中的8U設備的尺寸),重量在50磅以內。

Rackspace提供了一款類似的服務,服務的名稱是Cloud Files Bulk Import。電信巨頭新加坡電信的澳大利亞分公司Optus也將提供一款類似的服務。 澳大利亞云服務商Ninefold也推出了一款名為Sneakernet的類似服務。

某些其他的云供應商也提供了類似的服務,但沒有形成產品或進行宣傳。據一位云服務的客戶稱,他們從新的云服務供應商那里借了一臺桌面NAS設備,然后又購買了一臺那樣的設備,將數據上傳到設備,然后分派了一名員工去管理云設備。 NAS設備可隨身攜帶,出行的員工在飛機上可以將那些設備放在腿上。

它需要那些長度,因為正如AWS在宣傳推廣其輸入/輸出服務時所說的,這樣做比通過互聯網來傳輸數據要快一些。

原因很簡單,寬帶上網服務的廣告中所說的速度并不總是能夠在現實生活中達到。例如,Optus對我們說,雖然它最快的寬帶連網速度可達3-5Gbps,但標準服務協議只能保證300Mbps的速度。 以那個速度計算,上傳1TB的數據需要8個小時的時間,那還是在預留10%的帶寬和網絡流量不擁擠的情況下的樂觀預期。

很難想象這種速度將如何被用于提供PB級存儲服務的云服務,比如Azure的定價分級規定大約5PB的數據量就要收費。 谷歌的BigQuery服務也承諾會支持最高數百TB的數據集的分析。

但是谷歌和微軟沒有提供有關客戶如何將數據上傳到云中的詳細資料。盡管微軟早就說過,它在2010年就對這樣的服務進行過評估了。

WordPress備份插件廠商cloudsafe365的首席執行官、聯合創始人Craig Deveson表示,谷歌沒有數據提取服務已經成為一個大問題。他在為澳大利亞的一家軟件公司進行Gmail遷移時就遇到了這個問題。 在進行那個項目的時候,他發現將過去的電子郵件數據遷移到谷歌云中的最好方法是先將存儲著數據的磁盤發送到新加坡,然后上傳到亞馬遜的S3云存儲服務之中。數據進入亞馬遜的云中之后,我們必須運行一款程序來將數據提取出來,放到谷歌的后臺中。

將大量數據發送到服務型軟件供應商的云中也需要采取類似的手段。

例如,Salesforce.com曾經建議我們,零散的數據上傳可以通過零散API來進行,它可以讓SOAP和REST按批提取數據,每次提取10000條數據記錄。公司說:“即便數據仍然要發送到服務器才行,但Force.com平臺會提交批處理命令。”

公司回答說,所有的通用數據庫產品都提供了提取到某個通用文件格式如.csv的功能。

至于人們是否能夠等待.csv或其他更大的文件那就是另一回事了。

未經允許不得轉載:存儲在線-存儲專業媒體 » 云存儲:海量數據上傳云中并非易事
精品国产午夜肉伦伦影院,双性老师灌满浓jing上课h,天天做天天爱夜夜爽,攵女乱h边做边走