根據系統運行數據記錄,技術改造之后,在只采用10幾臺X86服務器實現了以前數十臺小型機的余票計算和查詢能力,單次查詢的最長時間從之前的15秒左右下降到0.2秒以下,縮短了75倍以上。2012年春運的極端高流量并發情況下,系統幾近癱瘓。而在改造之后,支持每秒上萬次的并發查詢,高峰期間達到2.6萬個查詢/秒吞吐量,整個系統效率顯著提高。如上圖所示。

訂單查詢系統改造,在改造之前的系統運行模式下,每秒只能支持300-400個查詢/秒的吞吐量,高流量的并發查詢只能通過分庫來實現。改造之后,可以實現高達上萬個查詢/秒的吞吐量,而且查詢速度可以保障在20毫秒左右。

新的技術架構可以按需彈性動態擴展,并發量增加時,還可以通過動態增加X86服務器來應對,保持毫秒級的響應時間。

夢里尋它:技術革命一步跨越三代

12306能夠取得這樣翻天覆地的效果,靠技術上的小修小補是不可能的,必須有全新的思路,能夠給性能提升帶來杠桿式的作用。12306發現GemFire分布式內存數據平臺就是這樣一種技術。

GemFire分布式內存數據平臺的技術原理如上圖所示:通過云計算平臺虛擬化技術,將若干X86服務器的內存集中起來,組成最高可達數十TB的內存資源池,將全部數據加載到內存中,進行內存計算。計算過程本身不需要讀寫磁盤,只是定期將數據同步或異步方式寫到磁盤。GemFire在分布式集群中保存了多份數據,任何一臺機器故障,其它機器上還有備份數據,因此通常不用擔心數據丟失,而且有磁盤數據作為備份。GemFire支持把內存數據持久化到各種傳統的關系數據庫、Hadoop庫和其它文件系統中。

大家知道,當前計算架構的瓶頸在存儲,處理器的速度按照摩爾定律翻番增長,而磁盤存儲的速度增長很緩慢,由此造成巨大高達10萬倍的差距(如上圖)。這樣就很好理解GemFire為什么能夠大幅提高系統性能了。

按照計算與存儲的關系,我們可以將計算架構分為四代:

第一代,基于磁盤的單一系統:計算過程中需要從磁盤讀取數據。小型機、大型機是其中的佼佼者,將單一系統的性能做到極致。

第二代,基于磁盤的分布式集群系統:計算過程中需要從磁盤讀取數據,但通過分布系統將數據分散到不同的服務器磁盤上,提高整個系統的處理能力。目前很多大型互聯網和電子商務公司采用基于X86服務器的分布式集群系統,依靠海量的X86服務器部署解決高流量并發的問題。

第三代,基于內存的單一系統:將整個數據庫放在內存中,計算過程不需要從磁盤讀取數據。整個系統的性能取決于單一系統的性能。傳統的內存數據庫就是這樣的系統,對于企業級的應用可以很好地解決訪問速度的問題,但面對海量數據或是海量并發訪問的擴展性問題就無能為力。

第四代,基于內存的分布式集群系統:GemFire就是這樣的系統,并行計算是其關鍵技術之一,因而可以通過增加服務器部署規模,在內存計算的基礎上,線性擴展性能。

12306之前采用Unix小型機架構,采用GemFire技術改造成Linux/X86服務器集群架構,就意味著一下跨越三代。從小型機到大內存X86服務器集群,不僅讓性能提升了一個數量級,而且成本也要低得多。

GemFire是Pivotal企業級大數據PaaS平臺的一部分。Pivotal公司的企業級大數據PaaS平臺主要有三個層次:云基礎架構層Cloud Fabric、大數據基礎架構層Data Fabric、應用開發基礎架構層Application Fabric。GemFire屬于大數據基礎架構層,此外,Greenplum數據庫也屬于這一層;云基礎架構層的技術是Cloud Foundry;應用開發基礎架構層的技術是Spring Framework和RabbitMQ等。

未經允許不得轉載:存儲在線-存儲專業媒體 » 12306的技術革命
分享到

zhupb

相關推薦

精品国产午夜肉伦伦影院,双性老师灌满浓jing上课h,天天做天天爱夜夜爽,攵女乱h边做边走