小i機(jī)器人&華東師范大學(xué)聯(lián)合論文入選ACL 2020

　　ACL年會(huì)是計(jì)算語(yǔ)言學(xué)和自然語(yǔ)言處理領(lǐng)域最重要的頂級(jí)國(guó)際會(huì)議，被CCF與清華均列為頂級(jí)A類會(huì)議，由計(jì)算語(yǔ)言學(xué)協(xié)會(huì)主辦，每年舉辦一次。其接收的論文覆蓋了對(duì)話交互系統(tǒng)、語(yǔ)義分析、摘要生成、信息抽取、問(wèn)答系統(tǒng)、文本挖掘、機(jī)器翻譯、語(yǔ)篇語(yǔ)用學(xué)、情感分析和意見(jiàn)挖掘、社會(huì)計(jì)算等自然語(yǔ)言處理領(lǐng)域眾多研究方向。

　　如何解決多輪復(fù)雜對(duì)話上的狀態(tài)追蹤問(wèn)題，一直是自然語(yǔ)言處理領(lǐng)域研究的難點(diǎn)。本篇論文聚焦基于槽注意力機(jī)制和信息共享的對(duì)話狀態(tài)追蹤方法（Dialogue State Tracking via Slot Attention and Slot Information Sharing, SAS），進(jìn)一步驗(yàn)證了SAS在對(duì)話狀態(tài)追蹤任務(wù)上優(yōu)于其他方法，那么具體是如何做到的呢？

　　所謂對(duì)話狀態(tài)追蹤，就是指每回合從對(duì)話中捕捉用戶對(duì)話狀態(tài)的任務(wù)，而這些對(duì)話狀態(tài)往往以槽值對(duì)的形式表示，它們代表了用戶每回合的需求。由于用戶的需求往往分布在一場(chǎng)對(duì)話中的各個(gè)回合，而多輪回合間信息的保留一直是自然語(yǔ)言處理領(lǐng)域的難點(diǎn)，對(duì)話狀態(tài)追蹤任務(wù)目前還存在著不少挑戰(zhàn)。隨著任務(wù)式對(duì)話狀態(tài)系統(tǒng)應(yīng)用領(lǐng)域從單領(lǐng)域擴(kuò)展為多領(lǐng)域，解決多輪復(fù)雜對(duì)話上的狀態(tài)追蹤問(wèn)題越發(fā)重要。

　　目前，任務(wù)式對(duì)話系統(tǒng)以其廣泛的應(yīng)用性得到了各大科技公司的青睞，不少機(jī)構(gòu)紛紛展開(kāi)了對(duì)其的研究。任務(wù)式對(duì)話系統(tǒng)與以?shī)蕵?lè)為目標(biāo)的聊天對(duì)話系統(tǒng)不同，它需要為用戶完成某種特定的任務(wù)，比如訂餐、旅游安排、天氣預(yù)報(bào)等。作為任務(wù)式對(duì)話系統(tǒng)的關(guān)鍵組件，對(duì)話狀態(tài)追蹤器的性能大大影響了對(duì)話系統(tǒng)的最終效果。因此，對(duì)話狀態(tài)追蹤任務(wù)已經(jīng)成為了一個(gè)研究熱點(diǎn)。

　　目前業(yè)內(nèi)針對(duì)任務(wù)式對(duì)話狀態(tài)追蹤已有一些方法。例如用表示學(xué)習(xí)技術(shù)進(jìn)行對(duì)話狀態(tài)追蹤的NBT模型、用global-local編碼器捕捉槽和全局特征的GLAD模型、將對(duì)話狀態(tài)追蹤任務(wù)建模成文本生成任務(wù)，并引入pointer-generator結(jié)構(gòu)的TRADE等……這些方法雖然有效地改善任務(wù)式對(duì)話狀態(tài)追蹤的性能，但長(zhǎng)對(duì)話、復(fù)雜多領(lǐng)域?qū)υ捝献粉櫺Ч蛔愕膯?wèn)題仍存在，而這些問(wèn)題正是此次論文要解決的問(wèn)題。此外，由于不同槽間存在著一定關(guān)聯(lián)性，將這些信息利用起來(lái)也有助于幫助對(duì)話狀態(tài)追蹤。

　　在本篇論文中提出的SAS（Slot Attention and Slot Information Sharing）由兩部分構(gòu)成。第一部分，用槽注意力從歷史記錄中抽取各個(gè)槽所需的關(guān)鍵信息；第二部分，將關(guān)鍵信息根據(jù)各個(gè)槽的關(guān)聯(lián)性進(jìn)行信息重組與共享。其中，第二部分有兩種不同的實(shí)現(xiàn)方法，分別是基于超參數(shù)的信息共享和基于k-means的信息共享。SAS利用注意力機(jī)制為獨(dú)立的每個(gè)槽從多輪長(zhǎng)對(duì)話中提取出最有價(jià)值的特征，從而避免不相干槽的冗余信息對(duì)目標(biāo)槽的干擾。其次，為了改善模型在數(shù)據(jù)不足的槽上的追蹤效果，模型共享了關(guān)聯(lián)槽上的信息。在多領(lǐng)域和單領(lǐng)域數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果驗(yàn)證了SAS在對(duì)話狀態(tài)追蹤任務(wù)上優(yōu)于其他方法。

　　小i機(jī)器人自2001年成立以來(lái)，就專注于以自然語(yǔ)言處理為基礎(chǔ)的認(rèn)知智能相關(guān)技術(shù)的自主研發(fā)和商業(yè)落地。此次聯(lián)合論文入選ACL2020，是繼今年小i機(jī)器人與加州大學(xué)戴維斯分校聯(lián)合論文入選AAAI2020后，再次被國(guó)際頂級(jí)會(huì)議錄用，展示出了小i機(jī)器人超強(qiáng)的技術(shù)積累實(shí)力。除此之外，小i機(jī)器人“智能客服系統(tǒng)（iBot）”日前也被工信部納入“新一代人工智能工業(yè)創(chuàng)新重點(diǎn)任務(wù)入圍揭榜單位”，進(jìn)一步印證了小i機(jī)器人在智能交互領(lǐng)域強(qiáng)大的研發(fā)和技術(shù)實(shí)力。

　　未來(lái)，小i機(jī)器人也會(huì)將先進(jìn)的認(rèn)知智能技術(shù)與產(chǎn)業(yè)應(yīng)用相融合，賦能產(chǎn)業(yè)發(fā)展，用認(rèn)知智能技術(shù)探索人工智能的無(wú)限可能。