作者：Qlik亞太區數據集成部門副總裁 楊沛藝

從數據遷移和數據倉儲，到主數據管理和實時商業智能，關鍵 IT 計劃的投入和成功與否，很大程度上都取決于數據集成的執行方式。數據集成平臺通過提供高性能工具來收集、過濾和橫跨多個存儲點、同時移動不同存儲點之間的數據，使得關鍵IT計劃以及其他計劃都能夠輕松實施，甚至加快部署。

Qlik認為以下五點將成為數據集成領域中的五大發展趨勢：

1、成為一家”實時企業”已是大勢所趨

如果您打算部署嵌套數據集，您需要在正確的時間將信息傳遞到正確的位置。目前，全球領先的企業都在進行實時運作，因為很多項目的執行都對其監測的響應速度有著較高的要求，例如，監測市場活動的效果，發現涉嫌欺詐的異?，F象，提供醫療保健和人道主義服務，進行現場個性化操作，甚至優化供應鏈等。近期，以下三項相關技術取得的突破將在2020年共同推動以上各方面的發展。

> 隨時隨地接入高速網絡。得益于5G和IPV6技術的應用，我們具備實現超級連接的能力。

> 按需實現無限拓展的工作負載。隨著所有數據紛紛向云端遷移，Kubernetes變得尤為矚目。這一企業級的容器化應用能夠合理安排資源分配，讓正確的工作負載在正確的位置運行，即使是在邊緣設備上也不例外。

> 強大的流式架構。由Apache Kafka等解決方案驅動的變化數據捕獲（CDC）平臺和實時數據流平臺能夠在低延遲情況下，高效地攝取和處理大量數據。

行業預測

到2022年，超過一半的主要新業務系統都將集成使用實時上下文數據來改進決策，以實現持續型智能。

—— Gartner

行業大事件

根據云原生計算基金會每半年發布一次的調查報告顯示，四成擁有5000名或更多員工的企業表示，他們會將Kubernetes應用于其生產環境中。

—— Enterprisers Project

2、DataOps和自助服務帶來全新敏捷性

由數據發現工具驅動的自助分析服務，使企業用戶獲得了最貼近他們需求的解決方案。但直到現在，在數據管理方面卻還未實現同樣的敏捷性。

DataOps衍生于DevOps，是一種自動化、面向流程的方法，能夠提高數據管理質量并縮短數據管理周期，從而便于開展數據分析。得益于變動數據捕獲（CDC）和流數據管道等技術，它還能夠實現數據實時測試和部署的自動化。此外，它還能夠利用隨需應變的IT資源來支持持續的數據傳遞。如今，80%的數據應以這種系統化的方式交付給企業用戶。進行這樣的操作，我們就可以無需再單獨準備自助服務數據。通過在操作端使用DataOps，在企業用戶端使用自助服務，企業將能夠更有效地體驗數據在整個信息價值鏈上的流動，并實現數據的整合及分析，以便部署嵌套數據集。

行業預測

到 2020 年，業務部門的數據和分析專家數量的增速將是 IT 部門專家的 3 倍，這會迫使企業重新考慮其組織模式和技能。

—— Gartner

行業大事件

近期數據與分析市場的整合表明，這正日益成為一種必然趨勢。

3、活動元數據目錄為數據和分析提供支持

數據集的分布日益廣泛，這對企業而言，是一項巨大的挑戰，因為所有這些數據都需要進行編目和整合。如果放置不管，數據可能很快就會過時。數據目錄會在這方面有所幫助，因此對數據目錄需求的飆升并不足為奇。

其中一個頗具發展前景的解決方案是通過機器學習增強元數據目錄。它們將數據管理從被動變為主動，甚至在跨混合/多云生態系統的情況下，也能保持數據的適應性和不斷變化。本質上，這些元數據目錄提供了必要的聯結和管理，以滿足DataOps和自主服務所需的敏捷性。此外，它們還包括信息個性化，即生成相關洞察和定制內容的基本組件。但是，為了集成分散的分布式數據，目錄還必須可以在選擇的分析工具環境之外發揮作用。

行業預測

到2023年，60%的企業將使用數據目錄來統合數據發現、訪問和智能化，并提高DataOps和業務結果的透明度和可信度。

—— IDC

4、像”Shazam”一樣識別數據：這個可以有

著名的音樂服務應用 Shazam 能夠通過設備的麥克風識別歌曲，從而開啟一個發現目錄。Google Lens 能夠通過深度學習和視覺分析來識別動植物以及閱讀和翻譯文本等。亞馬遜也推出了類似的技術，通過分析圖片就能找到想要的衣服。然而，我們能夠像 Shazam 識別歌曲那樣識別我們的數據嗎？

到2020年，嵌入整個信息價值鏈的人工智能將使分析系統中的算法能夠更好地識別我們的數據、發現異常情況，并指出需要分析的新數據（但這還不是最重要的）。我們將能夠指向一個數據源，并查看數據來自何處，使用者是誰，數據發生了多大程度的變化，質量是否良好等。無論數據規模如何，人工智能都能夠從中獲得更多洞察，并將數據整合與分析融為一體。

行業預測

到 2024 年，對于部署由機器學習驅動的數據管理、集成和分析解決方案的企業而言，其以數據為中心的員工的生產力將提升一倍。

—— IDC

行業大事件

亞馬遜的 StyleSnap 使用機器學習為用戶尋找相似的衣服和風格。

—— The Verge（美國著名科技媒體網站）

5、既有道德和又有責任感的計算目前至關重要

大多數技術飛躍在某種程度上都改變了我們周圍的世界，并為我們開辟了更美好的未來。然而，一些”進步”可能會帶來一些重要的隱患。算法會如何影響我們的隱私，以及影響我們的自由意志？從個人數據的不當使用到自動分析，利用這些數據的誘惑令人難以抗拒。

為了防范這個問題，相關法規陸續出臺，如美國的《云計算法案》和歐盟的《通用數據保護條例（GDPR）》等，以確保云計算戰略的合規?？鐕臼艿降挠绊懹葹槊黠@，因為各國出臺的法規各不相同。鑒于此，當前混合多云方法不再是一個可選項，而是成為了一個必選項。

當今時代，增強企業責任感變得更為重要。除了確保合規之外，企業還必須贏得并保持客戶的信任。一旦一家企業被視為在客戶隱私方面越線，則很有可能對其品牌造成不可挽回的損害。問題不只是某件事是否能做，而是這件事是否應該做。在企業中成立數字道德委員會是一種應對之策，可有助于實現風險最小化和回報最大化。從長遠來看，企業需要將關注點從股東轉向利益相關方。

行業預測

到2023年，超過75%的大型企業將雇用人工智能行為鑒定、隱私和客戶信任方面的專家，以降低品牌和聲譽風險。

—— Gartner

行業大事件

違規行為在過去的四年中增加了50%甚至更高，而2019年成為了”有史以來違規情況最嚴重的一年”。

—— TechRepublic （美國知名 IT 網站）

在這個充斥著海量數據的日益碎片化的時代，如果不對數據進行整合，數據分析將會受到影響。企業和分析專業人士必須使用支持數據整合和分析的方法、人員和技術來擴展他們的工具包。在基于數據分析來制定戰略和實現創新，以及確保能夠遵循紛繁復雜的法律法規方面，這一點尤其重要。

伴隨著互聯網經濟的發展和大數據時代的到來，數據作為一種生產要素在國民經濟發展過程中的重要性日益凸顯。2020年4月，中共中央、國務院發布《關于構建更加完善的要素市場化配置體制機制的意見》，將數據作為與土地、勞動力、資本、技術并列的生產要素，要求”加快培育數據要素市場”，能夠看出數據正成為科技創新的突破口。

當我們能夠將數據進行整合，并讓人們能夠以改變行業規則的方式（部署數據鑲嵌）使用數據時，我們就能夠促進業務、人類乃至整個世界走向真正的變革。

關于作者

楊沛藝先生現任Qlik 亞太區數據集成部門副總裁，主要負責通過不同的渠道以及戰略合作伙伴的合作，在亞太地區拓展 Qlik 的數據集成業務。

在”多云”時代，楊沛藝先生協助企業客戶完成關鍵的數據整合工作，幫助他們將大量實時的、質量完好，直接服務于分析的數據傳輸到信息流、云平臺以及數據倉庫和數據湖中。

楊沛藝先生在企業軟件行業有超過25年的工作經驗，曾擔任銷售、專業服務和支持服務等多個部門的管理工作。加入Qlik之前，楊沛藝先生曾擔任 Attunity 亞太地區副總裁（Attunity 于2019年5月被 Qlik 收購）。

楊沛藝先生擁有劍橋大學的碩士學位以及倫敦大學的計算機科學學士學位。

關于Qlik

Qlik的愿景是創建一個具備數據素養的世界，在這個世界里，所有人都可以運用數據來優化決策，解決最具挑戰性的問題。Qlik的端到端數據集成和分析平臺能夠將企業任何來源的數據匯集在一起，從而使任何技能水平的使用者都能饒有興趣地探索并且發現新的深度分析結果。企業使用Qlik能夠更加深入地了解客戶行為，重塑業務流程，發現新的收入來源，并平衡風險和回報。Qlik的業務遍及100多個國家，為全球5萬多家客戶提供服務。