數據存儲產業服務平臺

企業數據存儲的難題,萬變不離其宗

偏見是你對世界的看法,分析并解決問題才是與世界相處的正確方式。

IT產業發展了半個世紀以來,發展變化一直很快,但核心的總有幾個不變:大體上,計算性能沿著摩爾定律在發展;數據存儲在變得更快、更穩定、更高效的同時,盡可能的降低成本;讓數據出現在計算存在的地方就組成了功能服務,讓服務出現在業務需要的地方就創造了價值。

提起IBM,大家都覺得這是一家老牌公司,而云計算是大熱門,代表當下最先進的發展方向,這其實就是一種偏見。實際上,IBM不僅自己有云計算技術服務,而且原來很多技術都是現在云計算在用的技術,雖然IBM的牌子久遠了點,但它的技術服務在新的時代下,正在以新的面貌煥發新的活力。

最近幾個案例中,讓我看到了IBM的“新”的活力,讓我們意識到,企業數據存儲的難題,終歸是萬變不離其宗,如果大象在跳舞,那存儲業務上的新變化就是大象的舞步。

IBM存儲在新行業——互聯網行業的突破

2020年新冠疫情期間,許多社會活動轉到了線上,線上業務流量激增,和許多互聯網公司一樣,百度智能云也在加班加點瘋狂擴容,云計算的海量規模意味著高昂的存儲成本,所以,更強調精打細算,因為任何創新和成本上的節省都能帶來巨大收益。

2020年,在百度云海量冷數據處理場景的擴容項目中,百度云選擇了業界流行的IBM TS4500 企業級存儲解決方案,該方案融合了IBM Spectrum Scale、Spectrum Archive 和 Tape 介質, 構建了EB級海量數據存儲服務,使用了大約10萬盤磁帶存儲900多PB數據,相較于普通存儲,整體存儲成本降低了84%,收益還是非??捎^的。

用IBM存儲來降低成本的說法其實比較新穎,一直以來,IBM存儲都是服務于大型企業,以穩定著稱,但也以價格昂貴為人所詬病,但以IBM存儲來降低成本的說法還是挺令人眼前一亮的。

有趣的是,在媒體“口誅筆伐”中,被宣判“已死”的多年后,磁帶似乎越來越重要了,成為許多公有云服務中不可或缺的一部分,最新的LTO 9磁帶更是將單盤磁帶容量提升到了18TB,可見,磁帶是正在快速發展的,并且得到了云廠商重用的技術。

使用IBM的歸檔存儲技術之前,百度智能云的對象存儲分為高性能存儲、標準存儲和低頻存儲,這些其實是基于磁盤的。相比之下,有些客戶提出需要更高的性價比、保存時間更長的存儲產品與服務。此時引入IBM的技術則為百度智能云打造下一個階梯的存儲產品帶來了能力補充,補齊了百度智能云存儲產品矩陣的最后一塊“積木”。

IBM歸檔存儲適用于多種應用場景。在IBM的幫助下,百度智能云在過去一年中積累了豐富的業務應用場景。另外還有石油勘探、醫療影像、基因測序分析和物聯網相關的數據等也可以放在歸檔存儲上。

互聯網公司對于技術其實是非常挑剔的,在與IBM為期幾年的對接過程中,經過數不清的測試驗證后,最終才選擇了用IBM,除了磁帶歸檔存儲以外,還用了IBM Spectrum Scale(原GPFS)來打破百度在各個系統業務間的數據孤島,使得數據能在各個業務系統間流動。

如果說用磁帶主要是為了節省成本,那么使用Spectrum Scale則充分顯示出經典存儲方案在面對新場景時候所煥發出的活力,令人感覺非常的新穎,原來,IBM不僅有服務于許許多多傳統行業用戶的能力,還能和許多互聯網公司一起協作創新。

IBM存儲在互聯網公司的應用令人眼前一亮,乍一看覺得很新鮮,但據了解,其實許多知名的互聯網公司也在用IBM存儲方案,只是由于應用在后臺當中,并不能被用戶看到。而這次,百度智能云算是揭開了IBM存儲在互聯網行業應用的面紗。

IBM存儲在AI新場景上的突破

某 IT 獨角獸公司是一家邊緣人工智能芯片創新者,作為一家邊緣人工智能芯片企業,它有大量數據需要用于人工智能機器學習場景,為此,該公司構建了數據平臺,但是隨著不斷發展,累計的數據越來越多,需要的GPU資源也越來越多,如何讓數據出現在算力所在的地方開始成了挑戰。

據了解,該公司雖然自己購置了很多GPU資源,但也經常需要借助云端的GPU資源來滿足高峰算力需求,為了盡可能的降低成本,該公司會經??炊嗉以品丈痰腉PU資源報價,誰家便宜就用誰的,雖然GPU資源可以隨便選,但訓練所需的數據并不能輕松地跟著GPU跑。

了解機器學習的人都知道,機器學習訓練過程中很大一部分時間都在準備數據,數據的問題很嚴重,在IBM Spectrum Scale的幫助下,該公司能將存放在本地的數據按需遷移到云上,能做到算力在哪里,數據就在哪里,Spectrum Scale的數據調度能力很好地支撐了多云環境需求。

在調度的時候,Spectrum Scale可以只調度計算需要的那部分數據,既節省了在云上存儲的成本,也降低了傳輸的帶寬成本,據了解,Spectrum Scale將私有云與公有云之間專用鏈路帶寬利用率提升到了90%以上,可謂是物盡其用。

另外一方面,由于該公司原本的各個系統業務間的數據時相互獨立的,也就是形成了許多數據孤島,隨著數據量的增長,原本使用的開源的解決方案在管理復雜度,以及性能方面都遇到了不少問題。

在Spectrum Scale的幫助下,該公司不僅構建了統一命名空間的存儲資源池,而且還打破了數據孤島,隨著數據規模的持續擴大,Spectrum Scale在性能和擴展能力的水平也逐漸顯現出來,這點很重要,而且,也這是最早該公司選擇IBM存儲方案時的根本原因。

IBM存儲的另一大價值也是在于用磁帶歸檔存儲Spectrum Archive來降低數據存儲成本,在該公司的場景中,大體上也有80%的數據是不太常用的數據,這部分存放在磁帶上成本還是高,將海量冷數據遷移到磁帶庫之后,存儲成本降低了超過80%。

值得一提的是,將數據遷移到磁帶上的操作是Spectrum Scale自動化完成的,數據遷移過程無需人為操作,沒有任何額外管理負擔,操作過程可以做到完全業務無感知,也不影響性能。

該公司成立于2015年,做的人工智能領域也是當下非?;馃岬募夹g風口,這樣的技術型公司也選擇了IBM,看重了IBM對于降低其數據平臺成本,優化使用體驗方面的價值,而IBM對于該公司數據平臺的支撐能力,看到了原有技術在新場景下的價值。

IBM存儲在傳統優勢領域的新突破

新行業,新場景固然新穎,其實,IBM在傳統優勢領域的創新實踐中也有突破。

得益于民營經濟的肥沃土壤,浙江省臺州市的民營經濟發展壯大,催生了包括民泰銀行在內本土城商行,民泰商業銀行于2006年正式轉制為城市商業銀行,是一家專門從事小微金融服務的專營銀行,主要面向小微企業和城鄉居民提供簡單、方便、快捷的金融服務。

在提升客戶體驗方面,民泰商業開設了遠程視頻銀行的服務形式,讓客戶通過手機視頻連線銀行來辦理業務,或者讓銀行客戶經理攜帶智能終端上門服務,讓客戶完全不跑銀行,或者最多跑一次銀行來辦理業務,在疫情期間,這一服務形式更是深受歡迎。

遠程視頻銀行的服務其實涉及多個業務系統的交互,涉及大量數據,而且要確保視頻交互過程當中有順暢的使用體驗,需要業務快速運轉,為此,這套架構當中首先使用了IBM FlashSystem全閃存來提升數據處理和存儲的性能和效率。

遠程視頻銀行的服務只是表象,在背后由于有了新技術的支持,才把業務流程的操作變得更加便捷了,從而大大提升了銀行用戶的服務體驗。由于民泰銀行還利用了AI和大數據能力開發了很多風險控制模型,將模型評分作為信貸審核的參考標準,以此來提升銀行的風險管控能力。

為了支撐以上創新,民泰銀行也采用了云計算服務。不過,銀行最根本的要求還是穩定,非常重視數據管理的安全性,在整體架構上,民泰銀行的核心系統一直運行在IBM的Power服務器和DS8000系列存儲之上,在業務連續性方面,民泰銀行通過兩地三中心架構構建了業務數據備份和快速恢復能力。

不難看出,民泰銀行的各種創新其實都伴隨著大量數據的產生,特別是視頻、照片等非結構化數據大量增加,這為數據存儲和數據管理帶來了新的挑戰,為此,民泰銀行選擇了IBM存儲虛擬化平臺SVC實現了統一管理和統一監控。此外,為了滿足合規要求,民泰銀行還將歸檔數據傳到了異地云對象存儲。

IBM存儲的“新”能力,大象的舞步

百度智能云使用IBM存儲來降低成本,打破業務數據孤島;某 IT 獨角獸公司使用IBM存儲來支撐AI這樣的新興工作負載;民泰銀行的案例中,IBM同時支撐了企業IT架構的敏態和穩態。

以上的案例中,都看到IBM存儲的新的方面的能力,而不只是支撐傳統應用,如果大象能跳舞,IBM存儲新的能力就是大象的舞步。

2015年,IBM發布了首款純軟的存儲解決方案——Spectrum光譜系列,IBM開始強調軟件定義存儲的能力,軟件能力的包裝和落地應用,都體現了IBM存儲的靈活性,但這并不意味著只是交付軟件方案就行,而是要依照具體的需求做出定制化方案,這是IBM服務企業用戶的優勢所在。

都說讓大象跳舞很難,但只就存儲來說,以需求為根本,IBM以存儲產品的能力和服務滿足用戶需求,本身并不難,IBM這些新變化讓我們看到,IBM不只是一家傳統存儲陣列廠商,而是真正能跟隨時代而變化,能伴隨用戶需求而變,這就是所謂萬變不離其宗。

未經允許不得轉載:存儲在線-存儲專業媒體 » 企業數據存儲的難題,萬變不離其宗
精品国产午夜肉伦伦影院,双性老师灌满浓jing上课h,天天做天天爱夜夜爽,攵女乱h边做边走