“機器學(xué)習(xí)和認知推理聯(lián)合實驗室”成立以來，雙方在高階認知推理系統(tǒng)、機器學(xué)習(xí)和自然語言處理等相關(guān)理論及技術(shù)研究上，展開了深入合作并實現(xiàn)了多向突破，產(chǎn)出的多篇優(yōu)質(zhì)論文也多次登陸ACL、AAAI、AAMAS等國際頂級會議。

　　以下為香港科技大學(xué)-小i機器人聯(lián)合實驗室入選國際頂級會議的代表性論文。

　　代表性論文：《學(xué)習(xí)如何抽象：一種記憶增強的會話回復(fù)生成》

　　入選會議：ACL2019

　　現(xiàn)有的會話回復(fù)生成模型存在生成的回復(fù)多樣性差、信息量不足等一些問題。一些研究人員嘗試利用檢索系統(tǒng)去增強生成模型的效果，但是該方法受限于檢索系統(tǒng)的質(zhì)量。在本文中，我們提出了一種記憶增強的生成模型，由記憶模塊和生成模塊組成，它可以對訓(xùn)練語料進行抽象，并且把抽象出來的有用的信息存儲在記憶模塊中，以便輔助生成模型去生成回復(fù)。具體來說，我們的模型會先對用戶輸入(query)-回復(fù)(response)的句對做聚類，接著抽取出每個類的共性，然后讓生成模型學(xué)習(xí)如何利用抽出的共性信息。與普通檢索增強模型相比，我們的模型改進了回復(fù)生成的質(zhì)量，相關(guān)性和信息完備性。

　　代表性論文：《基于回復(fù)預(yù)期記憶的隨需知識集成機制在回復(fù)中的應(yīng)用》

　　入選會議：ACL 2020

　　眾所周知，神經(jīng)對話模型的響應(yīng)雖然正確，但缺乏足夠的內(nèi)容和信息。通過閱讀進行對話（CbR）可以大大增強信息量，其中針對給定的外部文本進行對話，圍繞CbR任務(wù)，我們提出了一種新穎的預(yù)期-回復(fù)文本存儲，用來利用和記住在回復(fù)生成的過程中重要的文本信息。我們通過教-學(xué)框架構(gòu)造了預(yù)期的記憶。向教師模塊提供了外部文本，上下文和真實的回復(fù)，教師請求回復(fù)并學(xué)習(xí)回復(fù)-意識權(quán)重矩陣；學(xué)生模塊根據(jù)外部文本，上下文和教師模塊的輸出，學(xué)習(xí)如何預(yù)估教師模型中的權(quán)重矩陣，并構(gòu)建預(yù)期的響應(yīng)文本記憶。我們通過自動和人工評估驗證了我們的模型，實驗結(jié)果表明我們的模型獲得了CbR任務(wù)的最高性能。

　　代表性論文：《并非所有的注意力都需要：序列數(shù)據(jù)的門控注意力網(wǎng)絡(luò)》

　　入選會議：AAAI 2020

　　近年來，動態(tài)網(wǎng)絡(luò)配置受到越來越多的關(guān)注，它是一種具有動態(tài)連接的卷積機制神經(jīng)網(wǎng)絡(luò)，與注意力機制不同，它可以一次選擇性地激活一部分網(wǎng)絡(luò)。在本文中，我們提出了一種用于序列數(shù)據(jù)的稱為門控注意力網(wǎng)絡(luò)（GA-Net）的新方法。GA-Net使用輔助網(wǎng)絡(luò)動態(tài)選擇要參加的元素子集，并計算注意力權(quán)重以聚合所選元素。避免了對不必要元素的大量計算，并使模型可以關(guān)注序列的重要部分。它結(jié)合了兩個與輸入有關(guān)的動態(tài)機制，注意力機制和動態(tài)網(wǎng)絡(luò)配置，并具有動態(tài)稀疏的注意力結(jié)構(gòu)。實驗表明，提出的方法在IMDB、SST-1等文本分類任務(wù)上持續(xù)獲得最佳結(jié)果，同時減少需求計算并獲得更好的可解釋性。

　　代表性論文：《平均收益重復(fù)囚徒困境的無敵策略》

　　入選會議：AAAI 2020

　　重復(fù)囚徒困境（IPD）是研究理性多智能體的長期行為的著名基準(zhǔn)。針對這個問題學(xué)術(shù)界已經(jīng)研究了許多眾所周知的策略，從簡單的針鋒相對（TFT）到更復(fù)雜的策略，例如Press和Dyson最近研究的零行列式和勒索策略。在本文中，我們考慮了所謂的無敵策略，無敵策略有以下幾個特點，首先，他們有一個非常清晰和直觀的定義-永遠不會輸?shù)粢粓霰荣?。其次，它們的特征十分簡?可以被三個簡單條件所表示。第三，它們與諸如Press和Dyson的勒索策略以及Akin的good策略等其他經(jīng)過深思熟慮的策略密切相關(guān)。最后，從實驗中我們發(fā)現(xiàn)，一些既不勒索也不合作的無敵策略也可以像TFT一樣發(fā)揮作用。我們的策略為重復(fù)博弈，尤其是IPD的研究做出了貢獻。

　　代表性論文：《重復(fù)囚徒困境的無敵策略》

　　入選會議：AAMAS 2019

　　重復(fù)囚徒困境是研究多智能體博弈的經(jīng)典經(jīng)濟學(xué)模型。各個領(lǐng)域的學(xué)者廣泛地使用這一模型，來研究合作是如何在多智能體演化過程中產(chǎn)生的。早在1981年，Axelrod組織了基于這一模型的策略競賽，“針鋒相對”策略獲得了冠軍，對后來的研究產(chǎn)生的深遠的影響。2012年以來，隨著“零行列式策略”的提出，又涌現(xiàn)出許多具有特殊數(shù)學(xué)性質(zhì)的策略。受到我們最初觀察的啟發(fā)，沒有任何策略可以擊敗勒索策略，我們繼續(xù)研究所有這類立于不敗之地的策略。我們的主要技術(shù)成果是，此類策略可以被三種簡單條件所表示，還將此類策略與其他策略相關(guān)聯(lián)，并考慮了它們在結(jié)合時顯示的作用。