干貨分享 | Splunk—讓數(shù)據(jù)引領(lǐng)行動(dòng)

由于Splunk的數(shù)據(jù)存儲(chǔ)方式不是傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)庫(kù)，而是文件系統(tǒng)，所以無(wú)需對(duì)數(shù)據(jù)做轉(zhuǎn)換清洗，加上強(qiáng)大的數(shù)據(jù)處理和計(jì)算能力，使得Splunk能夠以實(shí)時(shí)的速度采集數(shù)據(jù)并展現(xiàn)。

國(guó)內(nèi)銀行 利用Splunk實(shí)時(shí)監(jiān)控應(yīng)用性能指標(biāo)以及業(yè)務(wù)指標(biāo)（包括交易量、響應(yīng)時(shí)間、成功率、返回碼、交易類別、交易渠道等等），同時(shí)使用歷史數(shù)據(jù)建立基線分析變化趨勢(shì)，可快速響應(yīng)應(yīng)用系統(tǒng)故障和數(shù)據(jù)分析需求。

Splunk不限制用戶的使用場(chǎng)景，同一份數(shù)據(jù)可以在多個(gè)場(chǎng)景之間復(fù)用，從而最大化Splunk的平臺(tái)價(jià)值。

國(guó)內(nèi)交易所 利用Splunk一套平臺(tái)，同時(shí)實(shí)現(xiàn)了CMDB、全場(chǎng) 景分析、跨崗位數(shù)據(jù)關(guān)聯(lián)分析、交易系統(tǒng)性能分析以及DevOps監(jiān)控等使用場(chǎng)景，將Splunk作為企業(yè)的數(shù)據(jù)中臺(tái)， 利用同一份數(shù)據(jù)開發(fā)出了多個(gè)Use Case，讓機(jī)器數(shù)據(jù)發(fā)揮了它最大的價(jià)值。

Splunk不需要在數(shù)據(jù)接入前固定數(shù)據(jù)字段，模型的建立是在查詢的那一刻發(fā)生的，由此賦予了對(duì)數(shù)據(jù)靈活使用以及將不同數(shù)據(jù)源關(guān)聯(lián)分析的能力 。

囯內(nèi)外資汽車制造商 利用Splunk建立了安全運(yùn)營(yíng)中心（SOC），實(shí)現(xiàn)系統(tǒng)常態(tài)化運(yùn)營(yíng)，通過(guò)集中管理各種安全設(shè)備日志、應(yīng)用日志規(guī)范事件告警和分析，全面展現(xiàn)安全運(yùn)營(yíng)狀態(tài)。利用Splunk讀時(shí)建模的特性，他們可以很輕松的將不同數(shù)據(jù)源的日志做標(biāo)準(zhǔn)化模型映射，進(jìn)而通過(guò)關(guān)聯(lián)規(guī)則從海量數(shù)據(jù)中發(fā)現(xiàn)高級(jí)威脅。

簡(jiǎn)單易用（Agile Reporting & Analytics）

Splunk的SPL（Search Processor Language）是一種具有自然語(yǔ)義的數(shù)據(jù)查詢、分析語(yǔ)言，它的功能類似SQL但比SQL更加簡(jiǎn)單，可以很輕松的實(shí)現(xiàn)數(shù)據(jù) 的統(tǒng)計(jì)、排序、對(duì)比等功能。

全球最大直銷企業(yè) 開始于國(guó)內(nèi)試水通過(guò)直播進(jìn)行產(chǎn)品推銷， 業(yè)務(wù)部門想了解觀看直播的觀眾分類屬性，比如：來(lái)源是 APP還是微信？有沒(méi)有進(jìn)行分享？有沒(méi)有觀眾是通過(guò)分享加入觀看活動(dòng)？觀看者是美容顧問(wèn)還是消費(fèi)者？美容顧問(wèn)有在利用轉(zhuǎn)發(fā)或是分享來(lái)挖掘新客戶嗎？IT部門按照業(yè)務(wù)需求在Splunk上只花了三個(gè)小時(shí)就創(chuàng)建好了監(jiān)控頁(yè)面，很好的回答了業(yè)務(wù)的問(wèn)題。

靈活擴(kuò)展（Scales from Desktop to Enterprise）

通過(guò)配置Splunk集群，可以將Splunk從桌面級(jí)實(shí)例擴(kuò)展到企業(yè)級(jí)實(shí)例，從而 支持處理更大的數(shù)據(jù)量，目前Splunk客戶中最大的日增長(zhǎng)數(shù)據(jù)量是4PB/day 。

囯內(nèi)領(lǐng)先電信設(shè)備制造商 的數(shù)據(jù)中心有上百種不同的技術(shù)和設(shè)備，它們分層交織在一起，其中的機(jī)器數(shù)據(jù)體量巨大、增長(zhǎng)迅速并且具有高度多變性和多樣性 Splunk強(qiáng)大的架構(gòu)橫向擴(kuò)展能力幫助客戶將近10TB的數(shù)據(jù)實(shí) 時(shí)接入分析，從一個(gè)中央界面獲得虛擬化、私有云和基礎(chǔ)設(shè)施端到端的運(yùn)維可見性。

您不需要考慮平臺(tái)如何搭建，性能如何調(diào)優(yōu)，解析規(guī)則如何配置等問(wèn)題，您可以在1分鐘內(nèi)完成Splunk的安裝部署，數(shù)據(jù)無(wú)需配置解析規(guī)則即可 接入Splunk，簡(jiǎn)單易用的SPL能夠幫助你快速?gòu)臄?shù)據(jù)中獲得價(jià)值。

囯內(nèi)保險(xiǎn)企業(yè) 使用Splunk作為應(yīng)用日志分析平臺(tái)，實(shí)現(xiàn)壽險(xiǎn)、團(tuán)險(xiǎn)、銀保通等核心應(yīng)用系統(tǒng)的日志收集和監(jiān)控，將各個(gè)節(jié)點(diǎn) 的日志相互關(guān)聯(lián)，串成業(yè)務(wù)流，消除了數(shù)據(jù)孤島。這些數(shù)據(jù)分 析能力有效幫助運(yùn)維人員排查和追蹤問(wèn)題并及時(shí)響應(yīng)他們需求，在開門紅等重大活動(dòng)中快速生成業(yè)務(wù)分析報(bào)表，支撐了業(yè)務(wù)的高速發(fā)展。

AI/機(jī)器學(xué)習(xí)（AI / Machine Learning）

機(jī)器學(xué)習(xí)能夠?qū)崿F(xiàn)動(dòng)態(tài)異常告警、預(yù)測(cè)分析以及告警歸類等高級(jí)分析功能， Splunk實(shí)現(xiàn)機(jī)器學(xué)習(xí)的方式有兩種，一種是封裝在高級(jí)解決方案App中的，另 一種是利用Machine Learning Tool Kit（MLTK）自定義的機(jī)器學(xué)習(xí) 。

自從部署Splunk進(jìn)行實(shí)時(shí)監(jiān)控以來(lái)，國(guó)內(nèi)線上支付平臺(tái)供應(yīng)商 可以快速跟蹤系統(tǒng)異常，利用機(jī)器學(xué)習(xí)，實(shí)現(xiàn)了告警自動(dòng)消噪，在1~2秒內(nèi)輕松檢測(cè)出交易延遲、系統(tǒng)掛起或支付轉(zhuǎn) 賬失敗等問(wèn)題，這種主動(dòng)的系統(tǒng)監(jiān)控使他們能夠有效發(fā)現(xiàn)系 統(tǒng)故障的根因，成功率超過(guò)98%，保障了服務(wù)的“永遠(yuǎn)在線”。

內(nèi)容更新（Content Update）

Splunk會(huì)定期更新內(nèi)置的安全關(guān)聯(lián)規(guī)則，這些更新的關(guān)聯(lián)規(guī)則是根據(jù)真實(shí)發(fā) 生的入侵事件編寫，從而讓用戶持續(xù)獲得最新的安全分析能力。

囯內(nèi)主要互聯(lián)網(wǎng)企業(yè) 內(nèi)部安全團(tuán)隊(duì)原來(lái)使用ELK作為安全事件分析平臺(tái)，但ELK并沒(méi)有內(nèi)置的關(guān)聯(lián)規(guī)則，這使得安全團(tuán)隊(duì)得依靠自己的經(jīng)驗(yàn)和知識(shí)積累在開源平臺(tái)上開發(fā)和優(yōu)化關(guān) 聯(lián)規(guī)則，但隨著團(tuán)隊(duì)核心骨干的離職，這套平臺(tái)和規(guī)則變得 無(wú)以為繼，于是他們選擇Splunk做為安全分析中樞，開箱即用和持續(xù)更新的內(nèi)容使整個(gè)團(tuán)隊(duì)可以集中精力分析安全事件， 而無(wú)需花太多時(shí)間在規(guī)則的編寫和維護(hù)。

Splunk生態(tài)系統(tǒng)包括 Splunkbase（應(yīng)用商店），Splunk Answer（問(wèn)答社區(qū)）以及 Splunk Dev（開發(fā)者社區(qū)），Splunk base中包含超過(guò)3000個(gè)可以直接安裝在Splunk Enterprise上的App，其中大部分App是由第三方廠商開發(fā)維護(hù)。70%的Splunk使用問(wèn)題都可以從Splunk Answer中找到答案。開發(fā)者可以從Splunk Dev中找到Splunk的接口信息以及文檔。