圖為 日志易技術副總裁正在分享自研引擎

CNUTCon 全球運維技術大會是由 InfoQ 主辦的運維&容器技術盛會。大會主要面向各行業對運維&容器技術感興趣的中高端技術人員。CNUTCon 致力于幫助參會者了解國內外相關公司的領域動態及應用案例，使企業可以更精準地確定自己的選型方案，并提前預估相關的風險和收益，實現技術落地。

各大互聯網公司的技術專家參與了此次大會。在大會的各個專題下，“日志處理”彰顯了其在運維圈中的獨特地位。日志處理，即統一日志管理，實時監控業務現狀，為用戶系統的日常診斷調優和安全問題追蹤提供更全面的數據支撐。專題討論了如何賦予技術支持人員實時高效搜索日志的能力，從而快速定位信息，發現問題根源，提升運維效率等一系列問題。

隨著業務發展，越來越多的IT運維日志催生出越來越大的 Elasticsearch 集群，維護成本越來越高，分析需求越來越復雜。由于 Elasticsearch 本身的定位并不是專業的日志分析系統，在用于日志分析時，其本身的很多功能會大大影響服務器的性能。大型的 Elasticsearch 集群往往重而復雜。

日志易技術副總裁黎吾平從對 Elasticsearch 搜索引擎的改進談起，詳細敘述了要使日志更好的為企業發展賦能，需要做出的搜索引擎相關優化。為此更好的進行日志分析，日志易自研了專業的日志搜索分析引擎。

日志有其專有的格式，雖然不同的應用產生的日志格式不同，但其本身有規律可循。在實際的日志處理系統中，大量使用ETL的方式來進行日志的結構化，抽取部分必要的字段，并進行索引。Elasticsearch不支持對字段類型的不兼容的字段進行索引，但在實際中，不同用戶之間，甚至同一用戶之間出現字段名相同而字段類型不兼容的情況是不可避免的，為了解決這個問題，日志易自研引擎對字段的索引方式和query的改寫進行了專門的處理，以支持用戶的需求。

日志易新引擎性能高效且靈活。傳統的 Elasticsearch 打開索引的時候會加載較多的索引信息到內存中，如tip，dii等，這樣打開索引慢，而且打開的索引數量受限。在日志處理的場景中，需要保留的索引往往會達到半年以上，但是頻繁查詢的只有最近一兩天的索引。日志易自研引擎只在內存中加載少量的索引的meta信息，通過LRU的cache的方式來管理索引文件信息，打開索引的內存占用小，因此可打開大量的索引，而且打開索引的速度快。

此外，在自研專業的日志搜索分析引擎上，日志易還在節點、線程、時間范圍搜索、Replica策略改進、索引分層優化等方面做出了很多改進。

日志易的自研引擎雖然首次亮劍，其背后的日志易團隊卻在日志分析的道路上前行了很久。在日志數據更加重要的明天，日志易自研引擎的未來，我們拭目以待！