Solution Design（解決方案設(shè)計(jì)）是管理學(xué)中一個(gè)重要的方法論，它為項(xiàng)目管理的需求調(diào)研、目標(biāo)定義、效果保障指明清晰的方向，簡單又不失完整，在項(xiàng)目實(shí)施過程中也廣受架構(gòu)師、項(xiàng)目經(jīng)理的歡迎。近年來，隨著智能客服的大力推廣，企業(yè)越來越注重成本和體驗(yàn)。
以電商場景為例，阿里巴巴智能服務(wù)事業(yè)部推出的個(gè)人購物智能客服——阿里小蜜就能夠在節(jié)省服務(wù)成本的同時(shí)，為消費(fèi)者提供優(yōu)質(zhì)、貼心的服務(wù)。在阿里小蜜的產(chǎn)品設(shè)計(jì)中，為了保障孵化搭建及應(yīng)用效果的持續(xù)提升，智能客服的核心技術(shù)——語義模型也在產(chǎn)品化的過程中設(shè)立了人工智能訓(xùn)練師這一角色，主導(dǎo)完成方案設(shè)計(jì)、模型搭建。相對(duì)于算法工程師對(duì)AI算法的建立，人工智能訓(xùn)練師則承擔(dān)著技術(shù)連接業(yè)務(wù)的工作。
今天，我們就為大家揭秘，在智能客服的語義模型搭建中，人工智能訓(xùn)練師是如何連接智能和服務(wù)，進(jìn)行模型搭建設(shè)計(jì)的。
解決方案設(shè)計(jì)
語義模型是智能客服的核心，該模型的能力直接影響著智能客服的表現(xiàn)。
如圖1，一個(gè)智能客服的語義模型是由多個(gè)角色的合作共同完成的：人工智能訓(xùn)練師負(fù)責(zé)數(shù)據(jù)的收集、標(biāo)注等；算法工程師使用數(shù)據(jù)進(jìn)行機(jī)器學(xué)習(xí)和模型訓(xùn)練。
訓(xùn)練好模型并完成評(píng)估后，模型將由研發(fā)工程師進(jìn)行發(fā)布和上線；語義模型的迭代更新也遵循這一流程?？梢钥闯?，人工智能訓(xùn)練師在該流程中承擔(dān)著模型數(shù)據(jù)提供的重要職責(zé)，而這項(xiàng)任務(wù)可以由解決方案設(shè)計(jì)方法論指導(dǎo)，分步驟完成。
圖1：多個(gè)角色合作搭建智能客服語義模型
通常情況下，語義模型搭建需要通過四個(gè)步驟來完成解決方案的設(shè)計(jì)（如圖2）。
圖2：四個(gè)步驟完成語義模型搭建方案設(shè)
1、理解客戶業(yè)務(wù)
要設(shè)計(jì)符合需要的解決方案，需要對(duì)當(dāng)前服務(wù)場景有深入的了解。包括：當(dāng)前服務(wù)的核心目標(biāo)，服務(wù)團(tuán)隊(duì)的組織架構(gòu)，終端被服務(wù)客戶的現(xiàn)狀等。這些資料的調(diào)研及整理，有助于項(xiàng)目中的各個(gè)角色更多地了解服務(wù)全鏈路業(yè)務(wù)，提供更好的支持。以阿里小蜜為例，需要調(diào)研的是阿里巴巴的服務(wù)目標(biāo)、阿里巴巴的客服團(tuán)隊(duì)組織架構(gòu)、阿里巴巴消費(fèi)者的消費(fèi)行為、服務(wù)訴求信息。
2、定義客戶需求
“定義整體項(xiàng)目”，是描述本次模型搭建要做什么、為什么做，并要得到項(xiàng)目發(fā)起人的認(rèn)可，人工智能訓(xùn)練師應(yīng)在模型設(shè)計(jì)前明確項(xiàng)目的整體定義。
從全局上定義項(xiàng)目活動(dòng)，有助于清晰地梳理模型需要解決的問題是什么，為解決方案的設(shè)計(jì)打好基礎(chǔ)。不清晰的項(xiàng)目定義更像是一個(gè)idea，比如：“我要做一個(gè)能夠替代人工客服的智能客服”；而清晰、可實(shí)施的項(xiàng)目定義則應(yīng)是：“目前通過數(shù)據(jù)分析，阿里巴巴的消費(fèi)者每天會(huì)咨詢大量簡單、高頻重復(fù)問題，占比約為80%。這部分可以通過智能客服來回答，以實(shí)現(xiàn)部分替代人工的目的。
我需要的項(xiàng)目角色是……，項(xiàng)目成員是……”，一個(gè)完整的項(xiàng)目定義應(yīng)包括目標(biāo)、背景、目標(biāo)方案和整體方法、范圍、計(jì)劃框架和組織等。
當(dāng)然，根據(jù)項(xiàng)目的業(yè)務(wù)范圍大小，目標(biāo)需要有相應(yīng)的設(shè)定。如“目前阿里小蜜在消費(fèi)者訴求為退款的意圖識(shí)別中，錯(cuò)誤率有50%。這部分需要通過算法模型的優(yōu)化來解決，以提升智能客服的解決率”也是一個(gè)清晰的定義，即便項(xiàng)目的產(chǎn)出物并不像“做一個(gè)智能客服”那么宏大。在模型設(shè)計(jì)中，可以逐步迭代項(xiàng)目的定義目標(biāo)，并分步驟進(jìn)行。
需要注意的是，整體項(xiàng)目定義中，項(xiàng)目的背景必須有可信的數(shù)據(jù)支撐，而項(xiàng)目可實(shí)現(xiàn)的數(shù)據(jù)目標(biāo)則可以不急于定論，只要有一個(gè)清晰的方向即可。這一目標(biāo)可以在業(yè)務(wù)需求定義或者是解決方案設(shè)計(jì)環(huán)節(jié)完成。
完成項(xiàng)目的整體定義后，即開始羅列需求點(diǎn)，并定義項(xiàng)目的邊界。需求點(diǎn)和邊界的定義，為項(xiàng)目及其產(chǎn)出物的能力范圍設(shè)定了清晰的要求，即“有所為有所不為”。確定需求點(diǎn)的過程是一個(gè)和客戶反復(fù)對(duì)焦的過程，需要深入客戶的業(yè)務(wù)，全面理解客戶的想法，才能把需求挖掘清楚。在這個(gè)過程中，人工智能訓(xùn)練師會(huì)全面歸納業(yè)務(wù)場景，然后從場景入手去確定需求點(diǎn)、定義項(xiàng)目邊界。
以阿里小蜜為例，人工智能訓(xùn)練師可以基于對(duì)服務(wù)業(yè)務(wù)的理解和數(shù)據(jù)分析，將咨詢服務(wù)歸納為幾種類型的活動(dòng)，然后明確阿里小蜜的能力范圍：
-
支持：簡單知識(shí)問答，比如流程咨詢：“在哪里可以看到我的全部訂單”；
-
支持：涉及消費(fèi)者的任務(wù)處理，比如導(dǎo)購任務(wù)：“我想挑一個(gè)給媽媽用的老人手機(jī)”；
-
支持：非業(yè)務(wù)聊天，即一般性閑聊，如“你好啊”“陪我講個(gè)笑話吧”等；
-
不支持：商家的業(yè)務(wù)工單處理，如“幫我處理下我店鋪的訂單退款吧”；
由于阿里巴巴業(yè)務(wù)復(fù)雜，服務(wù)的業(yè)務(wù)范圍也非常廣，有些需求并非無法實(shí)現(xiàn)，只是需要在特定項(xiàng)目周期內(nèi)確定需求范圍及邊界，以保障健康的項(xiàng)目迭代。人工智能訓(xùn)練師需要在這個(gè)過程中，把項(xiàng)目希望實(shí)現(xiàn)的活動(dòng)全面、清晰地列示，說明清楚哪些是不做的，再附上相應(yīng)的真實(shí)場景原聲。根據(jù)這樣的需求調(diào)研和業(yè)務(wù)解釋，算法工程師就可以清晰、高效地了解業(yè)務(wù)，以便對(duì)于需要設(shè)計(jì)和應(yīng)用什么樣的AI算法模型有一個(gè)大致的判斷。
需求確認(rèn)完畢后，人工智能訓(xùn)練師就可以和算法技術(shù)團(tuán)隊(duì)一起，根據(jù)技術(shù)能力來初步判斷模型可實(shí)現(xiàn)的目標(biāo)。
3、設(shè)計(jì)解決方案
3.1 資源采集和分析
解決方案的設(shè)計(jì)需要確定的業(yè)務(wù)場景，即在項(xiàng)目需求范圍內(nèi)進(jìn)行深入、細(xì)致的資源采集和分析。作為智能客服，算法模型設(shè)計(jì)和使用效果的提升離不開真實(shí)的客戶聊天數(shù)據(jù)，同時(shí)對(duì)于服務(wù)的回答予以判定“對(duì)”、“錯(cuò)”，形成標(biāo)準(zhǔn)樣本供AI進(jìn)行學(xué)習(xí)。
人工智能訓(xùn)練師需要在深度和廣度上都全面地采集這部分?jǐn)?shù)據(jù)，同時(shí)做好分析工作：比如，將服務(wù)訴求進(jìn)行歸類，并透視用戶訴求的占比分布；或采集現(xiàn)有服務(wù)中的問題，并分析問題產(chǎn)生的原因，等等。這樣的分析可以方便算法工程師迅速了解現(xiàn)象、原因及嚴(yán)重程度占比，在信息互通及良好協(xié)同的基礎(chǔ)下，快速給出算法方案的判斷。在上一步驟（即需求確認(rèn)階段），真實(shí)場景原聲的收集是一個(gè)讓技術(shù)、產(chǎn)品成員快速了解客戶業(yè)務(wù)的方式，但這種列舉僅僅是增加感性層面的認(rèn)證，對(duì)于模型的搭建來說則較為初級(jí)和原始。
在統(tǒng)計(jì)學(xué)上，有一個(gè)重要的概念：獨(dú)立同分布。即隨機(jī)過程中，任何時(shí)刻的取值都為隨機(jī)變量，這些隨機(jī)變量服從同一分布，并且互相獨(dú)立。以淘寶為例，消費(fèi)者的服務(wù)咨詢都屬于獨(dú)立行為，不會(huì)受到彼此影響，所以在數(shù)據(jù)采集上，人工智能訓(xùn)練師需要遵循這個(gè)原則，以便確保采集的數(shù)據(jù)和業(yè)務(wù)實(shí)際是一致的。如果采集的數(shù)據(jù)有偏離，比如閑聊偏多、業(yè)務(wù)相關(guān)問題偏少；或漏采集了某類知識(shí)問答，則會(huì)影響最終的算法模型表現(xiàn)，或者測試效果和實(shí)際使用效果有較大差距。
理想情況下，用于算法模型訓(xùn)練和效果驗(yàn)證的數(shù)據(jù)應(yīng)該保持獨(dú)立同分布，且和實(shí)際分布保持統(tǒng)一。然而，在數(shù)據(jù)采集活動(dòng)中，往往會(huì)遇到資源缺少的情況，在這種情況下遵循獨(dú)立同分布進(jìn)行數(shù)據(jù)采集會(huì)有一定的挑戰(zhàn)。所以，還需要人工智能訓(xùn)練師運(yùn)用數(shù)據(jù)分析的方法，同時(shí)借助一些工具，進(jìn)行數(shù)據(jù)的清洗或構(gòu)造，以便使采集到的數(shù)據(jù)更加接近真實(shí)情況下的獨(dú)立同分布。
3.2 核心能力設(shè)計(jì)
數(shù)據(jù)采集、分析完畢后，人工智能訓(xùn)練師需要和算法工程師協(xié)同選取和制定模型的核心能力。人工智能訓(xùn)練師從業(yè)務(wù)上梳理業(yè)務(wù)對(duì)算法能力的要求，算法工程師從模型能力特點(diǎn)上確定適合、匹配的算法模型。以圖3為例，人工智能訓(xùn)練師和算法工程師需要緊密配合，共同確定模型的核心能力：
如果服務(wù)的問題較為封閉，且有明顯的分類性，即用戶的咨詢集中在幾類知識(shí)上，且知識(shí)之間的差異性較大：比如在某售前場景下，用戶關(guān)注的問題可能會(huì)集中在“是否有庫存”、“我應(yīng)該選什么尺碼”、“發(fā)貨方式是什么”、“付款方式是什么”，這時(shí)，較為合適的算法核心能力應(yīng)為分類算法。
當(dāng)服務(wù)的問題較為開放時(shí)，沒有特定的類別區(qū)分，即用戶的問題存在種類多、高發(fā)散性的特點(diǎn)，這時(shí)，語義相似度算法（無監(jiān)督）則更為適用。待語義相似度算法模型上線后，如果有人力可以投入機(jī)器人回答“正確”“錯(cuò)誤”的數(shù)據(jù)校驗(yàn)，則適合在相似度算法的基礎(chǔ)上引入精確排序算法（有監(jiān)督）。
服務(wù)知識(shí)為非結(jié)構(gòu)化文本時(shí)，即知識(shí)并沒有被整理成 “知識(shí)標(biāo)題、知識(shí)答案”結(jié)構(gòu)時(shí)，可能會(huì)面臨著這些挑戰(zhàn)：知識(shí)維護(hù)人力不足，沒有足夠的資源投入“知識(shí)標(biāo)題、知識(shí)答案”結(jié)構(gòu)的拆解；知識(shí)的時(shí)效性要求高，比如一小時(shí)超短促銷活動(dòng)規(guī)則，投入大量人力進(jìn)行拆解性價(jià)比低；知識(shí)從獲取到發(fā)布的周期要求緊迫，對(duì)時(shí)效性的要求很高。在這個(gè)場景下，機(jī)器閱讀理解技術(shù)是解決這些問題的不二之選。
圖3：根據(jù)業(yè)務(wù)特點(diǎn)確定模型的核心能力
確定好解決方案的核心算法能力，接下來還需要細(xì)化評(píng)估當(dāng)前采集到的數(shù)據(jù)在搭建核心能力中的使用方法，以及還需要構(gòu)造、采集和標(biāo)注哪些數(shù)據(jù)，用來搭建這一核心能力。
需要指出的是，在弱人工智能時(shí)代，雖然算法模型搭建離不開大量的數(shù)據(jù)積累，但算法的技術(shù)進(jìn)步、人工智能訓(xùn)練師的數(shù)據(jù)分析工作可以減輕模型對(duì)于數(shù)據(jù)量的依賴，或者將需要的數(shù)據(jù)量級(jí)逐步降低，即并非只有大量的數(shù)據(jù)標(biāo)注工作才是算法模型能力提升的唯一道路。
3.3 可行性評(píng)估、風(fēng)險(xiǎn)及依賴項(xiàng)溝通
模型設(shè)計(jì)完畢后，還需要和產(chǎn)品經(jīng)理、研發(fā)人員進(jìn)行可行性評(píng)估，找到相互依賴的合作內(nèi)容，并互通研發(fā)風(fēng)險(xiǎn)。在分析可行性時(shí)，要梳理好前期工作中發(fā)現(xiàn)的風(fēng)險(xiǎn)、假設(shè)、問題和依賴，并制定應(yīng)對(duì)措施和可能的行動(dòng)計(jì)劃。
4、方案宣講溝通
模型設(shè)計(jì)方案確定后，還需要進(jìn)行項(xiàng)目核心成員的溝通、宣導(dǎo)，確保項(xiàng)目組成員對(duì)算法模型有一定程度的理解，以便更好地投入生產(chǎn)開發(fā)。除此以外，還有必不可少的客戶宣講環(huán)節(jié)。通過科普性講解，讓客戶能夠走進(jìn)智能，培養(yǎng)建立一定的客戶心智，方便后續(xù)的產(chǎn)品使用。
5、展望
不難看出，目前人工智能訓(xùn)練師已在智能語義模型設(shè)計(jì)中起到了相當(dāng)重要的作用，其核心能力在于對(duì)業(yè)務(wù)的深入理解、對(duì)場景的系統(tǒng)化抽象的總結(jié)，以及業(yè)務(wù)的精準(zhǔn)解釋表達(dá)，連接先進(jìn)的AI技術(shù)和業(yè)務(wù)場景。
隨著智能服務(wù)的推廣和傳播，阿里巴巴在將小蜜系列產(chǎn)品推廣至商家、企業(yè)、海外服務(wù)領(lǐng)域的同時(shí)，也將“人工智能訓(xùn)練師”理念持續(xù)推廣至合作伙伴、服務(wù)供應(yīng)商和服務(wù)需求客戶中。目前，已有累計(jì)超過2萬的客服人員在阿里巴巴店小蜜、云小蜜認(rèn)證系統(tǒng)通過了人工智能訓(xùn)練師的學(xué)習(xí)和認(rèn)證，助力智能服務(wù)的應(yīng)用。人工智能訓(xùn)練師越來越深度地參與在智能產(chǎn)品的搭建與設(shè)計(jì)，我們相信，未來以AI為核心的智能客服等一系列產(chǎn)品的搭建成本將進(jìn)一步降低，產(chǎn)品的體驗(yàn)也會(huì)越來越好。
作者為曹雨菡（戲墨），作者為阿里巴巴集團(tuán)智能服務(wù)事業(yè)部高級(jí)人工智能訓(xùn)練師；
