2015年12月10-12日電話機(jī)器人云端，由中國計(jì)算機(jī)學(xué)會(huì)（CCF）主辦電話機(jī)器人云端，CCF大數(shù)據(jù)專家委員會(huì)承辦，中國科學(xué)院計(jì)算技術(shù)研究所、北京中科天璣科技有限公司與CSDN共同協(xié)辦，以“數(shù)據(jù)安全、深度分析、行業(yè)應(yīng)用”為主題的 2015中國大數(shù)據(jù)技術(shù)大會(huì)（Big Data Technology Conference 2015，BDTC 2015）在北京新云南皇冠假日酒店盛大開幕。

11日下午的深度學(xué)習(xí)分論壇，地平線機(jī)器人科技高級(jí)工程師余軼南，阿里巴巴iDST語音組高級(jí)專家鄢志杰，廈門大學(xué)教授紀(jì)榮嶸，華中科技大學(xué)教授、國家防偽工程中心副主任白翔，以及微軟亞洲研究院研究員洪春濤分享電話機(jī)器人云端了深度學(xué)習(xí)在圖像識(shí)別、語音識(shí)別、視覺搜索、文字識(shí)別等方面的應(yīng)用，以及開源深度學(xué)習(xí)框架的演進(jìn)。

余軼南：基于深度學(xué)習(xí)的圖像識(shí)別進(jìn)度

地平線機(jī)器人科技高級(jí)工程師余軼南分享了題為《基于深度學(xué)習(xí)的圖像識(shí)別進(jìn)度》的演講。

從2012年底開始，深度學(xué)習(xí)從圖象識(shí)別出發(fā)，很快席卷了所有圖像里大部分的任務(wù)，包括后來的目標(biāo)檢測、圖像分割，以及各種圖像的應(yīng)用，以及最近圖像超分辨率和跟蹤，都被深度學(xué)習(xí)所顛覆。神經(jīng)網(wǎng)絡(luò)系統(tǒng)自由度和它的靈活性非常強(qiáng)，可以用這樣一套統(tǒng)一的東西做很多過去需要用不同處理架構(gòu)做的事情。

算法方面已經(jīng)做了非常多的工作，將來會(huì)在以下幾個(gè)方面有所突破：第一，理論方面Deep Learning的分析是現(xiàn)在所獲取的，需要進(jìn)行Network的理論分析。第二，無論是谷歌，還是微軟今天公布的150多層的網(wǎng)絡(luò)，都是人工精心做的，這對design非常重要。第三，遇到的真實(shí)問題遠(yuǎn)是很困難的任務(wù)，所以很多時(shí)候是Structured Data Processing。第四，Logistic、Counting、Reasonino。第五，over-Reliance ON HP-Data And HP-Communication Faster。

很多數(shù)據(jù)的獲得都是非常容易的，但是有一些數(shù)據(jù)不是這樣，有一些數(shù)據(jù)獲得成本非常高昂，而且出現(xiàn)頻率非常低。需要把原來云端計(jì)算模型搬到前端，之所以能搬到前端，就要在價(jià)格、功耗、成本各方面進(jìn)行考量。其實(shí)相當(dāng)于云端來說，前端這樣的使用場景，身邊的每一樣設(shè)備都需要智能東西對它進(jìn)行全新的革命。就要有所選擇，用一款通用芯片計(jì)算單元，還是專門構(gòu)建這樣一款針對DATA Network或者是不同硬件做計(jì)算。把計(jì)算適用性和指標(biāo)放在這里。核數(shù)比較少的情況下，但是精度運(yùn)算能力非常強(qiáng)，非常適合邏輯計(jì)算，現(xiàn)在大多數(shù)電腦和手機(jī)都在這個(gè)領(lǐng)域做工作。第二個(gè)方面是DSP，最大的好處是低功耗和低成本，在身邊用得最多的是這個(gè)。隨著核數(shù)越來越多，能耗比是越來越好。

無論是谷歌網(wǎng)絡(luò)，還是MSR ImageNet網(wǎng)絡(luò)，都離不開三件事情：第一，迭代。第二是轉(zhuǎn)機(jī)。最后是Multiplication。如果你把計(jì)算機(jī)迭代再加上門，你就可以做Recurrence，這三個(gè)基礎(chǔ)上非常繁雜，各種各樣的Network，使Network服務(wù)于不同的奇奇怪怪的需求。可以發(fā)現(xiàn)，人腦其實(shí)也是這樣的架構(gòu)。人腦要回答幾千乘幾千問題很困難，但是可以對面前的情況做出反應(yīng)。電腦可以非?？焖愠鰩资畠|乘幾十億的數(shù)據(jù)，但是要處理以上的問題非常難。所以需要深度學(xué)習(xí)來進(jìn)行綜合。

阿里iDST鄢志杰：Deep Learning在客服中心的應(yīng)用

阿里巴巴iDST語音組高級(jí)專家鄢志杰分享了題為《Deep Learning助力客服小二：數(shù)據(jù)技術(shù)及機(jī)器學(xué)習(xí)在客服中心的應(yīng)用》的演講。他主要從傳統(tǒng)客服中心的現(xiàn)狀與挑戰(zhàn)、沉淀客服數(shù)據(jù)、全量客服質(zhì)檢、自助客服四個(gè)方面進(jìn)行了分享。

傳統(tǒng)客服中心面臨的挑戰(zhàn)包括：效率不高，用戶體驗(yàn)欠佳；缺乏有效反饋，難以保證服務(wù)質(zhì)量；隨業(yè)務(wù)發(fā)展可擴(kuò)展性差。以阿里巴巴和螞蟻金融為例，傳統(tǒng)客服具有話務(wù)量大和用工量大的特點(diǎn)。這種規(guī)模膨脹帶來了三個(gè)問題：面對客戶，如何提升服務(wù)體驗(yàn)電話機(jī)器人云端？針對小二，如何提升服務(wù)質(zhì)量電話機(jī)器人云端？放眼未來，如何通過數(shù)據(jù)技術(shù)及機(jī)器學(xué)習(xí)升級(jí)傳統(tǒng)客服？

面對以上問題，iDST進(jìn)行了以下嘗試：

語音識(shí)別沉淀客服數(shù)據(jù)，自動(dòng)語音識(shí)別，將對話轉(zhuǎn)寫為文本，為后續(xù)應(yīng)用提供前提。

全量自動(dòng)質(zhì)量控制，掃描每通電話，監(jiān)測基本服務(wù)質(zhì)量，并且進(jìn)行問題定位質(zhì)檢，提升問題解答一致性。

自動(dòng)識(shí)別問題，提高自助渠道解決率。存儲(chǔ)語音數(shù)據(jù)不等于沉淀，高準(zhǔn)確率的自動(dòng)語音識(shí)別是后續(xù)諸多應(yīng)用的前提。

客服電話語音識(shí)別的難點(diǎn)在于電話對話語音識(shí)別是語音識(shí)別領(lǐng)域最困難的任務(wù)之一，所以需要訓(xùn)練聲學(xué)模型來識(shí)別語音。聲學(xué)模型是決定語音識(shí)別準(zhǔn)確率的核心模型之一?？焖僦苻D(zhuǎn)訓(xùn)練聲學(xué)模型是第一要素，第二是Deep Learning?？梢岳酶鄶?shù)據(jù)、覆蓋更多實(shí)際使用場景來提升識(shí)別準(zhǔn)確率，但更多數(shù)據(jù)意味著更長的訓(xùn)練周期，所以縮短訓(xùn)練周期是工業(yè)界聲學(xué)模型訓(xùn)練的核心問題之一。

他通過分析GPU多機(jī)多卡Machine Learning Middleware、基于DBLSTM的語音識(shí)別聲學(xué)模型、基于DLSTM的問題定位質(zhì)檢、我的客服“因子+行為”自動(dòng)問題識(shí)別對機(jī)器學(xué)習(xí)在語音方面的應(yīng)用做了進(jìn)一步分享。其中，問題定位模型需要確定問題類目、收集訓(xùn)練數(shù)據(jù)。問題類目是定位和質(zhì)檢的目標(biāo)。

關(guān)于未來總結(jié)云展望，他提到未來是否有自動(dòng)問題生成模型，用戶說完一句話，或者是說完幾句話你還向訪問一些東西，澄清一些問題，這時(shí)候需要自動(dòng)問題生成模塊回到IVR系統(tǒng)，問出這句話，使得幫助你做判斷。于此之外要配響應(yīng)語音合成技術(shù)，還有說話人識(shí)別、驗(yàn)證、情緒檢測等等，這些合在一起就是智能機(jī)器人。

廈門大學(xué)紀(jì)榮嶸：大規(guī)模特征哈希與深度網(wǎng)絡(luò)壓縮

廈門大學(xué)教授紀(jì)榮嶸分享了題為《視覺大數(shù)據(jù)系統(tǒng)緊湊性初探——大規(guī)模特征哈希與深度網(wǎng)絡(luò)壓縮》的演講。他主要從面向大規(guī)模視覺搜索的特征哈希和深度神經(jīng)網(wǎng)絡(luò)壓縮這兩個(gè)切入點(diǎn)介紹了視覺大數(shù)據(jù)搜索與識(shí)別系統(tǒng)。

視覺數(shù)據(jù)近年來呈爆炸性增長，大規(guī)模視覺搜索技術(shù)具有緊迫需求。實(shí)際應(yīng)用問題經(jīng)常面臨百千萬/億級(jí)視覺（圖片、視頻）數(shù)據(jù)庫；計(jì)算資源受到限制，具有有限的內(nèi)存容量與時(shí)間效率容忍性；傳統(tǒng)的視覺特征表示維度過高；倒排索引表內(nèi)容開銷過大；移動(dòng)與嵌入式系統(tǒng)的場景限制，無法容忍高維實(shí)值特征的時(shí)空開銷，最小化數(shù)據(jù)通信量的需求。面向大規(guī)模視覺搜索的特征哈希具有一定的優(yōu)勢：哈希函數(shù)為特征投影快，搜索時(shí)間為漢明查表，復(fù)雜度低，百萬量級(jí)圖像搜索系統(tǒng)可以存儲(chǔ)在內(nèi)存中。代表性的特征哈希技術(shù)包括數(shù)據(jù)獨(dú)立哈希和數(shù)據(jù)非獨(dú)立哈希。

最早的想法跟數(shù)據(jù)庫里做哈希不一樣，數(shù)據(jù)庫生成哈希碼，哈希碼本身是唯一，如果兩個(gè)有差別生成哈希碼差別很大，漢明距離不能區(qū)別你的相似性。通過隨機(jī)切分平面可以一定保障原始特征空間里兩個(gè)點(diǎn)足夠近，有一定的概率落在同一個(gè)哈希碼里，所以有一套嚴(yán)格的數(shù)據(jù)證明。這個(gè)性能并沒有大家想象的強(qiáng)，所以這個(gè)性能并不是非常滿意。如果原始特征空間并不完美，一個(gè)想法是在原始空間里構(gòu)造Graph，用Graph Hashing表示兩個(gè)點(diǎn)的相似性，把Graph Hashing引到一起。計(jì)算哈希碼優(yōu)化過程中，只需要對兩個(gè)小矩陣做低級(jí)矩陣分解，通過這種方式大大節(jié)約矩陣分解時(shí)帶來的時(shí)間消耗。

對于深度神經(jīng)網(wǎng)絡(luò)壓縮，主要做CNN壓縮，也可以做乘法量化壓縮，還可以做參差編碼壓縮等。之前大家做的工作大多是網(wǎng)絡(luò)減枝、權(quán)值的共享、矩陣壓縮、哈希、組合式。他提出應(yīng)該直接優(yōu)化模型和判決力，重構(gòu)線購線性分類誤差，中小化線性分類的誤差。他介紹了深度神經(jīng)網(wǎng)絡(luò)壓縮的常用模型AlexNet、SPPNet、VGGNet、GoogleNet。他主要介紹了全局誤差最小化壓縮，即跨全連接層間，聯(lián)合最小化非基于線性響應(yīng)的分類（或特征表示）判決面距離重構(gòu)誤差。

華中科技大學(xué)白翔：場景文字識(shí)別的深度表示方法

華中科技大學(xué)教授、國家防偽工程中心副主任白翔分享了題為《場景文字識(shí)別的深度表示方法》的演講。他主要從問題定義、意義和挑戰(zhàn)、算法等方面進(jìn)行了分享。

場景文字識(shí)別是指將場景文字轉(zhuǎn)換為計(jì)算機(jī)可讀可編程的過程。場景文字識(shí)別對圖像理解會(huì)有很大的幫助，可以應(yīng)用于產(chǎn)品搜索、人機(jī)交互等方面，其面臨的挑戰(zhàn)有顏色、尺度、方向、字體、語種、背景等。這些問題在實(shí)際情況里都要考慮進(jìn)去。正是因?yàn)橐紤]的因素太多了，所以導(dǎo)致這個(gè)問題相當(dāng)?shù)睦щy。

文字識(shí)別過程分成三個(gè)部分：第一，文字進(jìn)行檢測。給你一張照片，你將照片里或者是視頻里屬于文字的區(qū)域找到，以單詞的形式，或者是以句子形式抓舉出來；第二，識(shí)別過程，這些區(qū)域依然是圖片的格式，需要轉(zhuǎn)換成計(jì)算機(jī)可以理解的符號(hào)；第三，將前面兩個(gè)步驟統(tǒng)一到同一個(gè)框架之下，從檢測到識(shí)別，都是用一個(gè)系統(tǒng)完成，如果是深度學(xué)習(xí)可以用深度網(wǎng)絡(luò)全部完成這件事情。他介紹了文字識(shí)別的方法。首先是基于MSER，把來自同一個(gè)象素的進(jìn)行分類，文字的筆劃往往具有相同的特性，所以進(jìn)行多尺度的積累，提供的結(jié)果是多尺度。同一個(gè)文字，文字間的間距有規(guī)律，或者是具有相同的顏色。結(jié)合規(guī)則對非區(qū)域進(jìn)行規(guī)律或者刪除，剩余就是干凈的文字，這是檢測最基本的描述值。

文字識(shí)別的傳統(tǒng)方法是基于連通區(qū)域的，存在一定問題。他提出了三層結(jié)構(gòu)來進(jìn)行場景文字處理：底層卷積層計(jì)算文字特征，中層利用回歸神經(jīng)網(wǎng)絡(luò)來對特征序列進(jìn)行處理，上層把置信度轉(zhuǎn)換為文字。對于扭曲的文字，他提出了一種處理思想：在卷基層之前加一個(gè)變換層進(jìn)行處理。

基于文字檢測的方法，比較直接的方法，對于每一個(gè)字符，做兩個(gè)分類器，可以在兩個(gè)分類器在圖像里進(jìn)行全局掃描，把響應(yīng)比較高的地方反饋出來。

場景文字的核心問題還是表述，如何場景里表述文字，表述不是如何進(jìn)行檢測，包括識(shí)別都是要進(jìn)行表述。一個(gè)核心的想法是在檢測的過程中能不能提高識(shí)別，同時(shí)識(shí)別模型能不能幫你提升檢測精度，需要列在一個(gè)框架下。并且如果你把這個(gè)特征共享，檢測時(shí)你也用，識(shí)別時(shí)你也用，能統(tǒng)一起來的話，你會(huì)有意想不到的效果。

微軟亞洲研究院洪春濤：開源深度學(xué)習(xí)框架MXNET解析

微軟亞洲研究院研究員洪春濤分享了題為《MXNET: An Efficient and Flexible Programming Framework for Deep Learning》的演講。他主要介紹了MXNet深度學(xué)習(xí)的工具，可以讓大家比較快的寫出Deep Learning的程序來。他從程序接口、系統(tǒng)架構(gòu)、設(shè)計(jì)細(xì)節(jié)等方面進(jìn)行了介紹。

主要的語言是C++，用C++保證了系統(tǒng)的效率。Python、R、Julia、Go這些語言可以直接拿來寫程序調(diào)MXNet，這樣保證非常好的編程接口，同時(shí)又有非常好的執(zhí)行。既支持CPU也支持GPU，因?yàn)橄到y(tǒng)整個(gè)做的非常小巧，所以在手機(jī)上也可以跑。支持分布式，也支持命令式和聲明式的接口。MXNet的特征包括：自動(dòng)求導(dǎo)，這對寫程序非常有用；占用內(nèi)存少，可以用更大的model；靈活接口，一種是符號(hào)式編程，一種是命令式編程，兩個(gè)各有優(yōu)缺點(diǎn)，命令式的語言顯然更容易懂一些，更直觀一些，但是符號(hào)式的更利于做優(yōu)化，以及更利于做自動(dòng)求導(dǎo)，所以都保留；支持分布式、單機(jī)多CPU。命令式編程提供的接口類似Numpy，不同之處是多CPU支持和并行執(zhí)行。符號(hào)借口類似于函數(shù)。MXNet將這兩種接口結(jié)合了起來，這兩種接口都可以使用。

MXNet的設(shè)計(jì)細(xì)節(jié)包括：符號(hào)執(zhí)行和自動(dòng)求導(dǎo)；運(yùn)行依賴引擎；內(nèi)存節(jié)省。Symbolic好處不是很直觀，和一般的編成確實(shí)不一樣。很難表達(dá)動(dòng)態(tài)的東西，比如說SMT里面你要做，你事先不知道多少詞，就很難寫。第二個(gè)重點(diǎn)，是系統(tǒng)里所謂的運(yùn)行時(shí)的依賴引擎，運(yùn)行式依賴是什么，這是編輯里的概念。比如你要算B=A+1，C=A×2，這里有一個(gè)依賴，你必須等到A有值，B、C才能執(zhí)行?；蛘呤悄阋鉉=A×B，或者是D=C+1，C=A×B算完，D=C+1才可以。同時(shí)用這樣的依賴引擎多GPU都可以很好的實(shí)現(xiàn)。運(yùn)行依賴引擎包括讀依賴、刪除依賴、寫依賴和共享資源。

這是兩層的最終依賴圖，可以看到總共創(chuàng)建了八個(gè)矩陣，不同顏色三角形標(biāo)的是他們用的內(nèi)存，比如說粉色三角形表示三個(gè)矩陣可以供用同樣的內(nèi)存。最終，生成八個(gè)矩陣，計(jì)算當(dāng)中用了八個(gè)矩陣，但是事實(shí)上只生成了三塊內(nèi)存。

本文為CSDN原創(chuàng)文章，未經(jīng)允許不得轉(zhuǎn)載。

長按指紋即可關(guān)注哦！每天都會(huì)為你推薦有趣有用的資料！喜歡就分享給更多人吧！