一、背景介紹
傳統(tǒng)的呼叫中心主要依靠單一的電話呼入方式為客戶提供簡單的服務，隨著IT技術和通訊技術的飛速發(fā)展，這種單一的電話方式已經不能滿足客戶的需要，為順應時代發(fā)展，客服系統(tǒng)涉及到的產品、技術和服務模式也在不斷的改革創(chuàng)新，現(xiàn)在的呼叫中心可以通過WEB、微信、APP、文字、視頻、傳真等多種渠道聯(lián)絡手段為客戶提供服務，以此更好的滿足客戶不斷變化的深層次需求。依托大數(shù)據(jù)、云計算和互聯(lián)網技術的快速發(fā)展，人工智能技術應運而生，并被快速應用到呼叫中心領域，智能語音、機器人、語音識別、語義分析等產品的出現(xiàn)，有效降低了客服中心的人力成本，新技術、新產品引入的同時，客服系統(tǒng)的維護變得越來越復雜，目前各大銀行的客服系統(tǒng)涉及到的產品大約均在20個左右，維護難度之大可想而知，對于客服系統(tǒng)運維人員來說也面臨著巨大的挑戰(zhàn)。
二、客服系統(tǒng)監(jiān)控發(fā)展歷程
客服系統(tǒng)的特點是，廠商多、產品多、專有設備多，監(jiān)控手段單一，G行針對客服系統(tǒng)的監(jiān)控經歷了三個階段：
第一階段：基礎監(jiān)控+人工巡檢
客服系統(tǒng)建設初期，僅包括應用、系統(tǒng)、中間件、數(shù)據(jù)庫等標準監(jiān)控，專有設備只能通過ping的方式獲取主機狀態(tài)，對于專有設備的資源占用情況運維人員只能通過人工巡檢的方式查看，設備運行風險較高。
第二階段：腳本輔助監(jiān)控
通過腳本的方式，獲取部分指標寫入臨時文件，統(tǒng)一監(jiān)控平臺再通過定期輪詢的方式查看文件內容，發(fā)現(xiàn)關鍵字，再通過短信方式推送告警給運維人員。腳本輔助方式雖然增加了中繼組狀態(tài)、媒體資源、系統(tǒng)資源使用率等重要指標監(jiān)控，但覆蓋范圍有限，獲取方式不靈活，實效性較差。
第三階段：專業(yè)平臺監(jiān)控
通過代理、接口、syslog、snmp等采集方式收集日志與告警信息，實時展示客服系統(tǒng)運行狀態(tài)和關鍵指標數(shù)據(jù)。監(jiān)控采集方式由被動的輪詢式告警轉變?yōu)橹鲃油扑偷牧魇礁婢?，專業(yè)監(jiān)控平臺雖然可以解決80%的告警需求，但還有一些特殊化的需求還不能覆蓋，比如陡增突降告警、同比環(huán)比等復雜的需要經過統(tǒng)計運算的告警、智能化故障診斷及業(yè)務關聯(lián)影響分析等。
三、客服智能監(jiān)控分析平臺建設
G行目前正在進行客服智能監(jiān)控分析平臺建設，在平臺建設之前，G行從業(yè)務視角、科技運維等角度深度挖掘客服智能監(jiān)控要解決的核心問題：
從業(yè)務視角考慮，客服智能監(jiān)控分析平臺需要解決的核心問題主要有如下幾個方面：
- 支持關鍵KPI指標和運營能力指標實時展示，包括坐席KPI指標、渠道話務量統(tǒng)計、區(qū)域話務量統(tǒng)計等
- 支持話務量按日預測及實時矯正二次預測功能
- 支持客服重點交易、熱點業(yè)務、投訴、輿情等數(shù)據(jù)實時展示
- 對惡意呼叫進行核實與屏蔽，可實時展示異常掛機數(shù)據(jù)，分析掛機原因
從科技運維角度考慮，客服智能監(jiān)控分析平臺需要解決如下問題：
- 覆蓋客服產品監(jiān)控盲區(qū)，涉及PBX、IVR、CTI、媒體網關等特殊設備的監(jiān)控，監(jiān)控指標包括中繼利用率、媒體資源使用率、IVR并發(fā)量、CTI鏈路消息數(shù)、CTI鏈路狀態(tài)、媒體網關狀態(tài)等
- 實現(xiàn)對客服人工智能產品的監(jiān)控，包括ASR、TTS、機器人等產品的并發(fā)量、許可使用量等數(shù)據(jù)的實時統(tǒng)計與展示
- 為容量管理提供有效的、準確的數(shù)據(jù)支撐
- 指導運維人員快速定位、快速恢復生產問題
- 支持對歷史發(fā)生的事件進行復盤、推演、溯源
- 智能診斷、智能分析故障對業(yè)務的影響
客服智能監(jiān)控分析平臺框架
基于上述監(jiān)控體系指標和功能需求，整體框架示意圖如下所示：
客服智能監(jiān)控分析平臺自下而上的架構如下：
- 數(shù)據(jù)采集層：負責監(jiān)控分析數(shù)據(jù)采集與預處理策略執(zhí)行。數(shù)據(jù)采集層支持多協(xié)議，以實現(xiàn)異構數(shù)據(jù)源的采集。采集模塊支持分布式水平擴展，以滿足大規(guī)模、高時效數(shù)據(jù)的采集需求。
- 數(shù)據(jù)存儲層：采用高速緩存中間件Redis實現(xiàn)對復雜或操作代價較高的實時數(shù)據(jù)進行緩存，以保障實時數(shù)據(jù)的高頻訪問效率。采用Elasticsearch實現(xiàn)離線數(shù)據(jù)存儲，支持高吞吐數(shù)據(jù)寫入以及大規(guī)模數(shù)據(jù)存儲，存儲和查詢性能可線性擴展。配置數(shù)據(jù)則采用關系型數(shù)據(jù)庫Oracle實現(xiàn)持久化存儲，提供事務型數(shù)據(jù)處理。
- 分析與計算層：實現(xiàn)分析規(guī)則和算法計算。分析規(guī)則包括告警觸發(fā)規(guī)則、告警處理規(guī)則、容量分析規(guī)則、關聯(lián)分析規(guī)則等。通過模式匹配引擎分析流式數(shù)據(jù)中的時序與依賴關系，實現(xiàn)數(shù)據(jù)關聯(lián)分析。匹配規(guī)則可動態(tài)配置以適應復雜多變的業(yè)務需求，通過歷史數(shù)據(jù)的對比和分析，實現(xiàn)閾值的動態(tài)調節(jié)。
- 業(yè)務展現(xiàn)層：實現(xiàn)業(yè)務功能展示。通過Spring Cloud微服務實現(xiàn)業(yè)務模塊標準化，支持按需彈性擴展，通過Spring Security提供統(tǒng)一的權限和登錄控制，通過Portal提供視圖的組件化管理，實現(xiàn)業(yè)務視圖的靈活定制化。
采集與處理流程
隨著業(yè)務的發(fā)展和智能化平臺的引入，監(jiān)控對象的分類和數(shù)量越來越多，各類數(shù)據(jù)，如指標數(shù)據(jù)、分析數(shù)據(jù)、日志、告警等更是指數(shù)級倍增。因此，一方面數(shù)據(jù)采集與處理流程應實現(xiàn)各類數(shù)據(jù)的統(tǒng)一轉譯和結構化處理，使得數(shù)據(jù)可識別、可使用；另一方面客服智能監(jiān)控平臺除了關注運行數(shù)據(jù)外，還需要深入到運營業(yè)務流程中，匯集整合客服業(yè)務運營和系統(tǒng)運行的各類數(shù)據(jù)，形成完備的數(shù)據(jù)集合，完成數(shù)據(jù)互聯(lián)。采集與處理設計方案需具備低耦合、高內聚、彈性擴展等特點，才能滿足高并發(fā)、高時效、大規(guī)模數(shù)據(jù)處理的需求。
分析模型與計算
客服智能監(jiān)控分析平臺中的分析模型和計算能力是實現(xiàn)智能運維的關鍵點，分析模型決定了監(jiān)控分析結果的有效性和深度，計算能力是保障智能監(jiān)控分析目標得以實現(xiàn)的首要因素。從話務異常分析、容量分析、故障關聯(lián)影響分析、故障復盤推演等方面設計模型，并不斷優(yōu)化，達成智能化監(jiān)控的目標。
場景實踐與思考
1、告警關聯(lián)分析
客服系統(tǒng)是一個復雜的有機體，每個組件的故障不再是孤立的事件，有可能影響到業(yè)務的可用性或者客戶的訪問體驗，因此基于組件間的業(yè)務依賴和數(shù)據(jù)流向構建組件關系圖譜，可實現(xiàn)故障的關聯(lián)影響分析，判斷出故障的影響范圍和程度，為運維工作的處理決策提供數(shù)據(jù)支撐。
當組件出現(xiàn)故障時，依據(jù)組件間的關系類型，系統(tǒng)可以判斷出關聯(lián)組件的可用性或容量是否會受到影響，可計算出此影響是否會傳導到業(yè)務層或其他組件上。
2、運營數(shù)據(jù)關聯(lián)分析
運維工作的目標是保障業(yè)務的可用性和連續(xù)性，當業(yè)務存在異常時，可基于客服系統(tǒng)正常運行模型的匹配來識別。以呼叫日志分析模型為例，當運營監(jiān)控中顯示隊列排隊人數(shù)較多時，有可能是坐席比較繁忙，人手不夠導致，但也有可能是客服系統(tǒng)自身原因導致呼叫無法正常分配給坐席，我們可以通過呼叫日志分析模型檢測電話呼叫是否存在異常，當呼叫日志流流入計算框架時，檢測到與正常呼叫日志不匹配時，則可判斷為客服系統(tǒng)異常。
3、故障復盤與推演
故障發(fā)生時，運維人員大都是優(yōu)先處理故障，盡快恢復系統(tǒng)正常使用，如果事后不對故障進行復盤分析的話，再次發(fā)生故障時，運維人員仍然不能快速識別出同類故障，影響故障處置效率。智能監(jiān)控分析平臺在告警發(fā)生時，不但可以識別出故障并生成告警信息，還會保留故障相關的周邊信息，以時序方式記錄故障的上下文場景和組件間關聯(lián)告警信息，并支持以電影放映的模式，將故障發(fā)生前后的各種相關數(shù)據(jù)進行回放和推演，以便發(fā)現(xiàn)故障發(fā)生的規(guī)律，優(yōu)化故障分析模型，為運維人員快速定位故障原因提供工具支撐。
下一階段建設目標
數(shù)據(jù)是一切運維的基礎，也是智能監(jiān)控分析和數(shù)據(jù)驅動運維的關鍵資源，未來幾年，客服智能監(jiān)控分析平臺的智能化程度將會持續(xù)加深，數(shù)據(jù)也將變得更加連貫和立體?？头悄鼙O(jiān)控平臺下一步將在業(yè)務探測、趨勢預測、動態(tài)閥值、智能告警方面進行更深入的研究與嘗試。
