不止是網上購物,幾乎我們的每一次行動,都在為大數據添磚加瓦

物聯網與移動終端:信息與物理世界進一步融合

在大數據時代,信息產業所產生和處理的信息與數據日益龐大,創造他們的不再是我們的電腦或是某些服務器,信息與數據被物理世界不斷的創造出來,并被物理世界和生活在物理世界中的我們所接收、處理與利用。這就是大數據時代的最大不同:他更貼近我們的物理世界,更貼近我們的真實生活。大數據,正是被我們的物理世界與真實生活所創造。

如果說,我們以前只能夠坐在電腦前或是身處數據中心,才能夠創造數據,那么,現在的世界已經大為不同。一輛貨車、一部智能手機、一個POS終端或是一個小小的RFID標簽,都蘊藏并不斷產生著數據,而與我們緊密相連的,就是日益發展的物聯網與移動終端。

先談談物聯網。這不是一個新的概念,最開始的理念是把一切生活相關的設備、物品或是流程,都連接在互聯網上,以“物”而不僅僅是“人”作為互聯網的節點,但隨著物聯網的不斷發展,我們發現了更大的機遇和挑戰。

信息的迅速膨脹遠遠超出人類自身的感知和信息處理能力,未來人們迫切建立在精密感知能力和海量信息處理能力之上的智能技術,這正是物聯網的發展方向。物聯網不再僅僅是一個概念、或者說不僅僅是一個發展理念,而正在演變成為政府的行動綱領,以及資本市場的投資方向。

物聯網是大數據的主要來源,而物聯網是智能城市-智能的物理世界的基礎。

物聯網領域的大數據符合大數據時代的三個重要特征:1、大量終端產生大量的數據;2、物聯網終端往往產生的半結構化或非結構化數據;3、物聯網的數據只有被分析才有真正的意義。

隨著物聯網的普及,越來越多的“物理”數據——來自設備和物理世界的數據——成為可用,像是危險基礎設施的監控、環境感知、智能家居、樓宇信息與能耗、汽車與交通運輸設備、智能電表或是每個人都有的移動設備,加上越來越多的無線傳感網,物聯網的普及讓越來越多的數據接入到信息世界當中,進一步緊密的聯系了信息世界與物理世界。

并由此,我們看到大量基于這些大數據的利用、大數據的分析的應用在不斷涌現。我們通過這些物理世界信息的互聯與分析,能夠像上面說的一樣跟蹤貨物、了解交通信息、實現本地及社交服務、照顧家人的安全與健康、了解汽車的情況與駕駛狀況,甚至構建更加智慧的城市。

可以看出,物聯網進一步的催生了智能城市,智能城市進一步催生了更大的數據集合。

在學術界,物聯網所帶來的大數據問題同樣引起了重視,據介紹,中科院自動化所把物聯網中的‘大數據’智能處理與分析技術作為研究所戰略發展方向之一,定位于研究‘大數據’關鍵問題,推動‘大數據’產業發展,并進行了長期、廣泛的基礎性研究。

而在移動終端方面,除了物聯網領域的那些如物流企業終端機、移動POS刷卡機之外,最重要的就是無處不在的智能手機。有調查顯示,中國智能手機用戶的月均數據網絡流量達到了95.5MB,而根據預測,到2016年移動互聯網的流量將比2011年增長18倍以上。而更為夸張的數據顯示,在3G應用及移動互聯網成熟度更高的美國市場,智能手機用戶的數據網絡用量平均已經超過每月400MB。

僅從數據上來看,你就會看到移動互聯網、移動終端所帶來的巨大的數據流量——我們很難在身邊找出一個沒有智能手機、不用手機上網的人——而每個人接近百兆的月均流量,可想而知在中國市場意味著什么。在數據流量激增的同時,卻又有更多的數據類應用出現,進一步讓移動終端成為大數據浪潮的主流聲音。

據此前中國東方航空股份有限公司信息部總經理嚴振紅向媒體表示,航空業現在大量利用互聯網,尤其是移動互聯網,像是東方航空這樣的信息成熟度較高的航空公司,在電子客票、網上值機、客戶體驗、VIP客戶服務以及常旅客等等方面都借助移動終端和移動互聯網。而在應用方面,以東方航空為例,其已經建立了移動應用開發平臺,面向所有的移動終端平臺開發應用,其Android版本的應用已經上線,并服務于東方航空每日穿梭在全球各地的乘客。

很顯然,移動終端不僅限于智能手機,據迅雷網絡技術有限公司無線事業部總經理何意在8月4日的MacWorld2012數字世界亞洲博覽會上表示,迅雷有接近50%的用戶時iPad用戶——而不再是傳統的“PC用戶”——這些用戶不停地在分享視頻、創造視頻,算上所有的平板電腦的用戶,產生了大量的數據上傳和數據訪問,這也是移動互聯網對大數據時代產生的一種影響。

無論是智能手機還是平板電腦,無論是移動終端還是移動POS機,移動網絡所創造的數據量隨著這些設備在我們生活中所占比重的增加在不斷增加。而正是這些設備,幫助我們把信息世界、數據海洋與我們的生活聯系起來,讓原本屬于虛擬世界的信息、數據與物理世界更加融合,但這也創造了新的大數據時代特征與挑戰。

物流企業:最深刻的體會者

在物聯網與移動終端的結合上,物流企業可能是最有發言權的。一家規?;奈锪髌髽I,擁有大量的“傳感器”:RFID標簽、貨車上的GPS定位與車況傳感器、各個倉庫及貨運中心的聯網設備等等這些都是物聯網的“物理設備”與產生數據的“傳感器”。

與此同時,每一個快遞員手中的POS刷卡機、移動終端,開放給用戶安裝在智能手機上下單、評價App(應用)以及不斷為收貨/發貨方手機上傳遞實時信息,這些移動終端及移動技術的應用,讓物流企業也同時擁有與移動終端相關的大量設備、服務與業務流程。

可以說,物流企業正是大數據時代下,受到物理網與移動終端影響最大的行業。而也正是在信息化越來越深入、數據與信息越來越重要的這個時代,IT已經成為物流企業的核心競爭力與轉型基礎。

而由物聯設備、移動終端以及用戶創造的大數據,也正在影響著每一個物流企業的IT系統的發展,并繼而影響了物流企業的轉型計劃。

總的來說,大數據有四大挑戰,但不同的行業也有不同的大數據特征。

“2010年,我們建立統一旅客數據庫,保留旅客的偏好信息,隨著東方航空推進轉型,我們希望這個系統發揮巨大的作用。同時,不僅是我們自己的系統,更要是合作伙伴的系統、流程和信息,都要實現集成和交換。”嚴振紅表示,東方航空近幾年正在打造全新的戰略,朝著“綜合的服務提供商”的方向轉型:從以前的客運航空供應商轉變為旅客服務集成商,從貨運航空運輸商轉變為航空物流服務企業。

很顯然,這不僅僅將創造巨大的旅客信息數據庫,也意味著有大量的數據流動在東方航空及其合作伙伴的網絡上。而隨著客運與貨運同時向服務業轉型——正如上面所說——更好的利用IT,更好的利用業務流程中那些物聯設備、移動終端所產生的大數據,將對針對用戶的個性化的、細致周到的服務有著至關重要的作用。

而一些物流行業的先行者。國內已經有比較高端的物流公司,通過GPS ONE或GPS定位技術,針對攜帶定位手機的人員或配置專用終端的車輛,向客戶提供實時監控調度、歷史軌跡查詢、語音導航、特殊人群跟蹤、位置信息查詢功能的全天候全覆蓋的個性化定位服務,這就是位置服務。

對于物流企業來說,基于精準定位、高精度室內定位和快速定位的三大優勢,可以實時跟蹤物體最新狀態信息,如貨物運到哪里了、是否丟失等等。在家用汽車進入物聯網之后,甚至可以實時查看汽車的所在位置和油耗等運行狀態。

所有這些,所有這些流程中的移動設備與物聯設備,都產生了巨大的數據。而這些數據同樣符合大數據時代的三大特征:

1、數據量隨著企業的業務量與IT水平的發展不斷激增;
2、承遞物品簽收、客戶單據簽收的圖片,貨運卡車的實時行車視頻,這些都是非結構化數據,也同樣在激增;
3、更好的分析這些數據,比如說某一個頻繁交付快遞的公司是否有時間特征,能夠更好的合理安排物流企業的資源,這也就是說,對數據的分析處在非常重要的位置。

物流行業是大數據的創造者,但卻可能是大數據的分析和應用的最大受益者

這就是我們在大數據時代所要面臨的最大挑戰:我們需要無縫連接所有的數據,讓數據“流動”而不是被固定在某處;我們需要快速的分析數據,并將所有的數據共同加以考慮,讓數據“融合”而不是被分割在各處;我們需要迅速搭建大數據平臺并馬上著手分析數據的價值,讓數據“瞬捷”可用而不是靜候在某處。

治理大數據第一步:行之有效的基礎設施平臺

“羅馬不是一天建成的”大數據也不是一天、一周或是一個月就能夠解決的問題,總的來說,解決大數據的問題是一個長期的過程,需要對大數據的發現、流動、存儲、分析以及長期保存等各個方面加以考慮,這意味著從平臺建設的角度來說,需要考慮的“完整的、適合整個大數據生命周期”的軟硬件平臺。

從上面的情況我們不難看出,對于物聯網與移動終端——其實也適用于其他的行業應用——大數據需要一個統一、融合以及無縫銜接的,平臺,企業需要無縫連接所有的數據,包括無線傳感器、移動終端等等不同數據源的數據,從而讓整個企業業務流程中的數據被統一存儲和分析。

另一方面,既然是大數據,其對服務器與存儲的性能壓力自然也變得更大,企業需要性能更強勁的服務器以及更快速的存儲系統,但與此同時,這并不意味著在大數據時代,我們能夠放松對能耗與空間的重視,否則隨著數據越來越“大”,難道我們必須無休止的去增加IT所需的電力和數據中心的空間?這顯然是一個不能接受的命題。

我們需要這樣的一個硬件平臺:高性能、無縫擴展、低能耗、開放以及極高的性價比優勢——這正是IA架構在過去三十年不斷給與業界的“禮物”:以英特爾為代表的x86(IA)架構平臺,已經洞察到了上述大數據來臨和發展的趨勢,并為此作好了充分的準備。

IA架構的計算能力自不必說——高性能意味著物流企業更快的制定運輸線路和更快速的運輸速度。

以英特爾至強E5系列處理器為例,其性能在每一代產品上,都能夠得到高達80%的提升,其性能水準在全球高性能計算500強中得到充分的體現。而在提供如此高的性能的同時,至強E5處理器的能耗卻有50%的降低,這使得企業在建立規?;拇髷祿幚砥脚_——往往是上百臺的服務器——時,可以在數據中心原有的電力供應下,提高超過一倍的計算能力。

對于大數據分析這一處理器密集型應用來說,英特爾的超線程技術可以極大的提高系統性能。

而對于更為重要的無縫擴展,IA架構的高可擴展性也早已被業界證實。事實上,正是IA架構的高可擴展性,業界最著名的Hadoop大數據平臺才會以IA架構為基礎,提出以IA架構為硬件基礎的大數據軟硬件推薦模板。

無論是中心還是邊緣,只有IA架構能夠實現最佳的大數據平臺連續性

從另一個角度來看,IA架構無縫、高效的擴展能力,能夠讓企業在不斷增長的大數據分析負載面前,有效的擴展計算平臺——請記住,因為英特爾E5處理器超過上一代50%的能耗降低與80%的性能提升——這不僅意味著性能的巨大提升,還意味著能耗水平甚至有可能會降低。

當然,從存儲平臺上看,我們會看到相同的事情在發生?,F在,幾乎所有主流的企業存儲系統都是以英特爾x86處理器為核心的,各家主流供應商也都采用了英特爾推薦的整體IA架構設計中端甚至高端的存儲系統,這讓英特爾x86平臺獲得“無可比擬”的優勢:當你的數據中心的服務器、存儲都以英特爾x86平臺為核心,以英特爾的推薦架構為平臺設計,這也就意味著你將獲得一個融合、統一以及更高性價比的數據中心。這顯然是應對大數據,甚至是云計算時代,最有力的優勢。

值得一提的是,對于商業智能來說,基于英特爾至強處理器的多路平臺還具備高性能、高能效、靈活擴展以及高性價比等優勢——從雙路到四路、多路,英特爾為商業智能提供高度適合的計算平臺。

但硬件只是基礎,軟件才是上層建筑,對于業界主流的大數據平臺Hadoop來說,僅有英特爾至強處理器平臺顯然是不夠的,但對于企業來說,對攸關企業發展的大數據問題來說,一個開源的、無支持與服務的原生版本的Hadoop平臺,顯然不是一個好主意。更何況,國內的Hadoop人才尤其是底層開發人才目前還處于空檔期。

讓Hadoop飛:英特爾Hadoop發行版

Hadoop 為處理海量處理系統提供了一個超越傳統存儲和數據庫技術的解決方案,已經成為構建海量數據構架的主流選擇。但基于開源社區的 Hadoop 開源版本使企業用戶在使用時不得不自己解決系統一致性、安裝維護、管理監控等,并且需要自己解決和修補開源版本中存在的軟件缺陷,這樣的要求使得企業用戶在使用 Hadoop 中遇到重重障礙。

針對企業用戶對 Hadoop 技術平臺的需要,英特爾 Hadoop 發行版產品提供了一個穩定高效可管理的 Hadoop 發行版。英特爾 Hadoop 發行版經過大量實際項目的在線使用驗證,免去了企業用戶的后顧之憂。英特爾還提供全面的產品技術支持和顧問服務,使得企業用戶在系統規劃、設計、實施和運行時都能得到專業及時的專業服務。

 
英特爾Hadoop發行版與開源版本的對比

對于企業來說,英特爾Hadoop發行版最明顯的功能增強在于提供跨數據中心的HBase數據庫虛擬大表功能,這意味著,企業能夠把不同數據中心——大型的或是小型的、甚至是集裝箱式的移動數據中心——內的數據庫聯系在一起,再借助該發行版的HBase數據庫復制和備份功能,企業能夠將分布在各地數據中心的數據實現統一的數據庫管理以及數據保護。毋庸置言,這對大數據下的企業整體數據解決方案、融合架構有多么大的意義。

另一方面,英特爾基于開源框架針對英特爾平臺進行了一系列優化工作,使得在英特爾平臺上實現Hadoop,比非英特爾發行版獲得性能的成倍增長,其處理能力達到“接近于實時”的處理效果——要知道,在英特爾Hadoop發行版中,改進后集群系統的 I/O 吞吐量能夠隨節點數量增加而線性擴展,這對于企業長期的大數據戰略必不可少。

對集群系統I/O吞吐量的改進,顯示出了英特爾Hadoop發行版的一項重要的不同,而這也正是我們在上文提到的,企業需要考慮的“完整的、適合整個大數據生命周期”的軟硬件平臺。英特爾借助自己在硬件平臺與軟件平臺上的“合力”,通過將Hadoop的軟件改進,結合英特爾的硬件部門,英特爾Hadoop發行版簡化了Hadoop的安裝和配置,可以根據用戶的硬件環境自動生成最優化的集群配置,充分發揮集群的計算能力。而英特爾將為用戶提供的,是“全面的軟硬件解決方案設計與服務”。

 
從物聯網到智慧城市,英特爾開始為不同的行業創建不同的解決方案,智能交通解決方案是英特爾幫助智慧城市的第一步。

而更重要的是,英特爾Hadoop發行版是經過測試和驗證的穩定版本,在客戶生產環境成功部署運營,可以確??蛻羯a環境 7×24 小時不間斷運行。輔之以英特爾通過云計算上的經驗積累,提供的從項目規劃到實施各階段專業的咨詢服務,由此構建的Hadoop分布式系統硬件平臺的擴展性與性能都更加優異。

最后,我們把目光轉回到物聯網與移動終端,轉回到由這兩者所產生的另外一個話題,那就是“智慧城市”。通過物聯網和移動終端,通過更多的傳感器與數據,通過更快速的大數據分析與利用,我們所生活的物理世界——每一個城市——能夠獲得極大的改變。而英特爾Hadoop發行版也在朝著這個方向努力,其已經推出了“海量數據智能交通解決方案”的設計藍本,這一方案將顯著提高我們對城市交通的管理和控制——對于大數據來說,這才是它真正的歸宿。

未經允許不得轉載:存儲在線-存儲專業媒體 » 物聯網與移動:物理世界掀起大數據波瀾
分享到

cuihao

相關推薦

精品国产午夜肉伦伦影院,双性老师灌满浓jing上课h,天天做天天爱夜夜爽,攵女乱h边做边走