“大數據”這個詞現在非?；?，但是某種程度上不過是過去30-40年來對數據管理和數據處理挑戰的理解、認識的新一輪說法。當然，每一輪的說法不一樣也并不是完全意義上的重復，循環式上升，畢竟每一輪的硬件、軟件、網絡、業務的關注點都不同，數據量的確是個硬指標，30年前提“數據倉庫”概念時的挑戰和現在的挑戰不可同日而語，10年之后再看現在的“大數據”也許也會一笑而過，到那時，我們似乎才可以明白，這一個輪回的真正意義。
大數據是個謊言
天又一次塌下來了。這一次是“大數據”讓IT部門如臨大敵。但是就像“世界末日”和“外星人”一樣，“大數據”是虛構的，是一個“大謊言”.
正如街談巷議的傳聞一樣，不管你走到哪里，關于“大數據”的討論無處不在。在Google搜索這個詞組，搜索結果超過13億條。它甚至在維基百科擁有專門的條目。數據泛濫導致很多人得出結論：企業將不堪重負。這并不是說企業內部的信息量不會增長。相反地，企業內部信息量也難逃增長的命運。因為，大數據一直是個難題。
盡管不斷有人聲稱，數據洪流將導致厄運來臨，但IT行業卻始終能夠通過改進計算基礎架構，使它們速度更快、容量更大、價格更便宜、體積更小巧，從而讓揮之不去的信息“大決戰”預言不攻自破。
今天，通過使用列式數據庫分析架構，組織機構可以不必過度對“大數據”帶來的焦慮，相反，還能夠讓“大數據”更好為企業運營服務。在列式數據庫中，用戶可以隨時調用和分析大數據集，即使對諸如非結構化數據等各種數據類型的大數據集亦是如此。它們不僅隨時可用，而且執行速度更快，還能根據工作要求，更方便地擴展，從而為盡可能多的用戶服務，涵蓋盡可能多的數據。
這種做法其實就是挖掘組織機構內外部的“大數據”,并提取有價值的部分供企業使用。它的目的是讓組織機構更靈活、更具競爭力，提高組織機構的盈利能力。
對于部署一個分析數據倉庫而言，最重要的步驟之一就是找到質量合格的數據。從數據凈化到采用數據管理總策略–用于確保數據質量的技術已經成熟。獲取最優質數據時還要對其進行內部審核。
數據延遲：需考慮組織內部數據延遲的三個方面：數據發生時機、事件延續時間、決策所需時間。
數據關聯：與商業用戶合作確定數據的前后關系，并就使用中的多個數據集建立相互聯系，同時還需要考慮數據增長率以及重復的來源。
自服務：確定高級用戶如何在不影響IT或其他資源的情況下，對用于查詢的數據實施控制。
首席數據官(ChiefDataOfficer)：指定一名高級職員擔任首席數據官的職務，使其能夠在維持組織治理的同時保證數據的可操作性。
數據質量的重要性再怎么強調也不為過。以comScore為例，作為一家為電子商務市場提供分析服務和解決方案的云計算公司，該公司從創立伊始就意 識到，網絡營銷的重點正從訪客數量轉變為盈利性。comScore的“客戶知識平臺”(CustomerKnowledgePlatform)針對顧客瀏 覽互聯網的行為與偏好提供了全方位的觀察視角。該服務追蹤所有愿意提供互聯網行為以供分析的用戶，記錄他們在各個網站的沖浪以及購買行為。
隨著數以百萬計的網絡用戶注冊該服務接受監測，comScore收集到了海量數據。事實上，comScore所分析的壓縮數據達到40TB以上，每周都會新增接近150GB.令人印象深刻的是，盡管數據量如此龐大，您卻無需耗費時間焦急等待查詢結果。據comScore工程事業部副總裁 RicElert稱，由于上述原因，“我們得以更加迅速地挖掘數據，并為客戶提供結果。這有助于他們提高營銷效率，開發出更多業務?！?/p>
此外，該公司使用列存儲技術，實現了40%的壓縮率。comScore表示，若使用傳統方法，存儲成本會比現在高很多。數據倉庫副總裁 ScottSmith說道：“由于我們面對的是海量的數據，壓縮對我們而言至關重要。我們擁有的數據儲量如此龐大，是大多數人從未見過的?！?/p>
西班牙AirtelVodafone公司的列存儲數據倉庫可根據公司的業務地圖進行信息組織。盡管很多不同的部門都使用同樣的數據，但 AirtelVodafone仍然能夠有效保證信息的一致性和完整性。數據倉庫將數據轉換成知識，通過一個接口，將現實世界中的事實轉化為有價值的商業情 報。準確分析和預測客戶行為的能力是AirtelVodafone公司整體業務戰略的關鍵所在。
有了列式數據倉庫，用戶可根據工作流(而不是按照企業的層級結構)需要獲取信息，這提高了員工的工作效率和有效性。換言之，從事市場營銷的用戶與從 事財務工作的用戶(舉例而言)使用的是相同的信息，只是他們接觸數據的角度有所不同，分析目的也各不相同。數據倉庫環境包含了市場營銷數據庫、呼叫系統、 客戶服務、全球移動通信系統統計數據、開票系統、收賬與檢索，以及所有的后勤管理信息。
如今，AirtelVodafone擁有一個理想的運行環境，能夠滿足各種需求，從而讓存儲在各種運行環境中的數據實現快速、低成本的集成。因此， 它可以直接從數據倉庫平臺中調用有關公司活動的詳細信息或匯總信息?；诹写鎯Φ臄祿}庫使AirtelVodafone公司贏得了市場份額，成為歐洲電 信業中的一方諸侯。
當今，分析行業也沒有任何借口不使用“大數據”.無論是擴大分析數據倉庫、涵蓋數以千計的用戶，還是分析來自各種奇特來源的各類數據(如來自社交媒 體網站的海量非結構化信息)，它們都沒有逃脫的借口。不要再躲避了，分析行業再也不能躲在“大數據”這個嚇人的怪物身后，因為我們知道，通過使用列式分析 基礎架構，就能夠讓“大數據”更好為企業運營服務。
大數據不是大謊言
近期的美國《福布斯》雜志刊發了一篇題為《大數據是個大謊言》的署名文章，文章作者SAPSybase全球CTO伊爾凡·汗給那些大數據的擁躉潑了一盆涼水。云計算市場還在持續升溫，隨之而起的大數據掀起的熱潮相比云計算來講有過之而無不及。
按照伊爾凡·汗的說法，從數據庫到數據倉庫再到今天的大數據，數據量的快速增長是一個趨勢，而與之相對應的數據處理的方式也在變化、提高，這是一個 螺旋上升的發展過程。所謂來自大數據的嚴峻挑戰并沒有人們想象中那樣可怕。伊爾凡·汗認為，大數據不是世界末日，也不是外星人，企業的IT部門沒有必要擺 出如臨大敵的架勢。
其實，“數據量巨大”只是大數據的一個標簽。除此以外，數據的多樣化、管理的復雜度、實時分析等也是用戶在處理大數據時必須面對的挑戰。BI(商業智能)已經有30多年的歷史。借助BI工具，企業可以對某一時間段內產生的數據進行分析，從而為商業決策提供支持。
在大數據時代，企業需要面對的是不斷變化的數據，因此需要實時對數據進行處理和分析，這無疑增加了數據分析的難度，但同時也提高了企業預測未來市場 變化的準確度。企業是否應該采用大數據分析工具，不是以企業擁有的數據量大小決定的，只要企業有商業預測的需求，就應該盡快使用大數據分析工具。
很多人認為，大數據就是指非結構化的數據。其實，這是一個“謊言”.事實上，全球產生的數據中85%以上的確是非結構化的數據。但是在當前的大數據 應用中，企業主要處理的還是結構化的數據。如今，許多擁有結構化數據處理工具的廠商紛紛轉向Hadoop,目的就是要尋找一個處理非結構化數據的好辦法。 盡管如此，大多數廠商的非結構化數據分析工具，也是先把非結構化數據轉換成結構化數據之后再進行處理。
云計算帶來了IT基礎架構的變革，大數據則有力地推動了企業業務的轉型。從這個角度講，大數據對企業來說是一個挑戰，更是一個實現業務轉型的契機。 伴隨著大數據應用的興起，企業對數據科學家、數據分析師這些新型的專業人才的需求也會變得更加迫切。如今，國外企業的管理層已經出現了一個新的職位–首 席數據官(ChiefDataOfficer)，其職責是在實現數據治理的同時保證數據的可操作性。
大數據的挑戰真實存在。企業應該變壓力為動力，應該讓大數據為商業決策服務，而不要成為大數據的奴隸。
