干貨分享 | Splunk—讓數(shù)據(jù)引領(lǐng)行動

由于Splunk的數(shù)據(jù)存儲方式不是傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)庫，而是文件系統(tǒng)，所以無需對數(shù)據(jù)做轉(zhuǎn)換清洗，加上強大的數(shù)據(jù)處理和計算能力，使得Splunk能夠以實時的速度采集數(shù)據(jù)并展現(xiàn)。

國內(nèi)銀行 利用Splunk實時監(jiān)控應(yīng)用性能指標以及業(yè)務(wù)指標（包括交易量、響應(yīng)時間、成功率、返回碼、交易類別、交易渠道等等），同時使用歷史數(shù)據(jù)建立基線分析變化趨勢，可快速響應(yīng)應(yīng)用系統(tǒng)故障和數(shù)據(jù)分析需求。

Splunk不限制用戶的使用場景，同一份數(shù)據(jù)可以在多個場景之間復(fù)用，從而最大化Splunk的平臺價值。

國內(nèi)交易所 利用Splunk一套平臺，同時實現(xiàn)了CMDB、全場 景分析、跨崗位數(shù)據(jù)關(guān)聯(lián)分析、交易系統(tǒng)性能分析以及DevOps監(jiān)控等使用場景，將Splunk作為企業(yè)的數(shù)據(jù)中臺， 利用同一份數(shù)據(jù)開發(fā)出了多個Use Case，讓機器數(shù)據(jù)發(fā)揮了它最大的價值。

Splunk不需要在數(shù)據(jù)接入前固定數(shù)據(jù)字段，模型的建立是在查詢的那一刻發(fā)生的，由此賦予了對數(shù)據(jù)靈活使用以及將不同數(shù)據(jù)源關(guān)聯(lián)分析的能力 。

囯內(nèi)外資汽車制造商 利用Splunk建立了安全運營中心（SOC），實現(xiàn)系統(tǒng)常態(tài)化運營，通過集中管理各種安全設(shè)備日志、應(yīng)用日志規(guī)范事件告警和分析，全面展現(xiàn)安全運營狀態(tài)。利用Splunk讀時建模的特性，他們可以很輕松的將不同數(shù)據(jù)源的日志做標準化模型映射，進而通過關(guān)聯(lián)規(guī)則從海量數(shù)據(jù)中發(fā)現(xiàn)高級威脅。

簡單易用（Agile Reporting & Analytics）

Splunk的SPL（Search Processor Language）是一種具有自然語義的數(shù)據(jù)查詢、分析語言，它的功能類似SQL但比SQL更加簡單，可以很輕松的實現(xiàn)數(shù)據(jù) 的統(tǒng)計、排序、對比等功能。

全球最大直銷企業(yè) 開始于國內(nèi)試水通過直播進行產(chǎn)品推銷， 業(yè)務(wù)部門想了解觀看直播的觀眾分類屬性，比如：來源是 APP還是微信？有沒有進行分享？有沒有觀眾是通過分享加入觀看活動？觀看者是美容顧問還是消費者？美容顧問有在利用轉(zhuǎn)發(fā)或是分享來挖掘新客戶嗎？IT部門按照業(yè)務(wù)需求在Splunk上只花了三個小時就創(chuàng)建好了監(jiān)控頁面，很好的回答了業(yè)務(wù)的問題。

靈活擴展（Scales from Desktop to Enterprise）

通過配置Splunk集群，可以將Splunk從桌面級實例擴展到企業(yè)級實例，從而 支持處理更大的數(shù)據(jù)量，目前Splunk客戶中最大的日增長數(shù)據(jù)量是4PB/day 。

囯內(nèi)領(lǐng)先電信設(shè)備制造商 的數(shù)據(jù)中心有上百種不同的技術(shù)和設(shè)備，它們分層交織在一起，其中的機器數(shù)據(jù)體量巨大、增長迅速并且具有高度多變性和多樣性 Splunk強大的架構(gòu)橫向擴展能力幫助客戶將近10TB的數(shù)據(jù)實 時接入分析，從一個中央界面獲得虛擬化、私有云和基礎(chǔ)設(shè)施端到端的運維可見性。

您不需要考慮平臺如何搭建，性能如何調(diào)優(yōu)，解析規(guī)則如何配置等問題，您可以在1分鐘內(nèi)完成Splunk的安裝部署，數(shù)據(jù)無需配置解析規(guī)則即可 接入Splunk，簡單易用的SPL能夠幫助你快速從數(shù)據(jù)中獲得價值。

囯內(nèi)保險企業(yè) 使用Splunk作為應(yīng)用日志分析平臺，實現(xiàn)壽險、團險、銀保通等核心應(yīng)用系統(tǒng)的日志收集和監(jiān)控，將各個節(jié)點 的日志相互關(guān)聯(lián)，串成業(yè)務(wù)流，消除了數(shù)據(jù)孤島。這些數(shù)據(jù)分 析能力有效幫助運維人員排查和追蹤問題并及時響應(yīng)他們需求，在開門紅等重大活動中快速生成業(yè)務(wù)分析報表，支撐了業(yè)務(wù)的高速發(fā)展。

AI/機器學(xué)習(xí)（AI / Machine Learning）

機器學(xué)習(xí)能夠?qū)崿F(xiàn)動態(tài)異常告警、預(yù)測分析以及告警歸類等高級分析功能， Splunk實現(xiàn)機器學(xué)習(xí)的方式有兩種，一種是封裝在高級解決方案App中的，另 一種是利用Machine Learning Tool Kit（MLTK）自定義的機器學(xué)習(xí) 。

自從部署Splunk進行實時監(jiān)控以來，國內(nèi)線上支付平臺供應(yīng)商 可以快速跟蹤系統(tǒng)異常，利用機器學(xué)習(xí)，實現(xiàn)了告警自動消噪，在1~2秒內(nèi)輕松檢測出交易延遲、系統(tǒng)掛起或支付轉(zhuǎn) 賬失敗等問題，這種主動的系統(tǒng)監(jiān)控使他們能夠有效發(fā)現(xiàn)系 統(tǒng)故障的根因，成功率超過98%，保障了服務(wù)的“永遠在線”。

內(nèi)容更新（Content Update）

Splunk會定期更新內(nèi)置的安全關(guān)聯(lián)規(guī)則，這些更新的關(guān)聯(lián)規(guī)則是根據(jù)真實發(fā) 生的入侵事件編寫，從而讓用戶持續(xù)獲得最新的安全分析能力。

囯內(nèi)主要互聯(lián)網(wǎng)企業(yè) 內(nèi)部安全團隊原來使用ELK作為安全事件分析平臺，但ELK并沒有內(nèi)置的關(guān)聯(lián)規(guī)則，這使得安全團隊得依靠自己的經(jīng)驗和知識積累在開源平臺上開發(fā)和優(yōu)化關(guān) 聯(lián)規(guī)則，但隨著團隊核心骨干的離職，這套平臺和規(guī)則變得 無以為繼，于是他們選擇Splunk做為安全分析中樞，開箱即用和持續(xù)更新的內(nèi)容使整個團隊可以集中精力分析安全事件， 而無需花太多時間在規(guī)則的編寫和維護。

Splunk生態(tài)系統(tǒng)包括 Splunkbase（應(yīng)用商店），Splunk Answer（問答社區(qū)）以及 Splunk Dev（開發(fā)者社區(qū)），Splunk base中包含超過3000個可以直接安裝在Splunk Enterprise上的App，其中大部分App是由第三方廠商開發(fā)維護。70%的Splunk使用問題都可以從Splunk Answer中找到答案。開發(fā)者可以從Splunk Dev中找到Splunk的接口信息以及文檔。