圖：美劇《了不起的麥瑟爾夫人》
很多企業(yè)擁有中大型電銷或客服中心，每天與客戶產(chǎn)生成千上萬次溝通。溝通的質(zhì)量，決定了企業(yè)的收入或客戶滿意度。企業(yè)監(jiān)督業(yè)務(wù)人員的溝通質(zhì)量和執(zhí)行力的過程，被稱為質(zhì)檢。
前兩篇文章，我們介紹了“關(guān)鍵詞+正則”質(zhì)檢方式和全新的“非正則”質(zhì)檢方式的區(qū)別，也介紹了兩種機(jī)器質(zhì)檢方式各自適配的場景。
雙模質(zhì)檢，各司其職。“非正則”質(zhì)檢方式通過引入深度學(xué)習(xí)算法模型，能夠更好地利用上下文語義來判斷一個(gè)句子是否命中了質(zhì)檢項(xiàng)，顯著提升找全率（術(shù)語“召回率”）和找準(zhǔn)率（術(shù)語“準(zhǔn)確率”）。同時(shí)，由于深度學(xué)習(xí)算法模型對訓(xùn)練數(shù)據(jù)量有要求，因此“非正則”方式更適合目標(biāo)通話量較多的質(zhì)檢項(xiàng)，而目標(biāo)通話量過少的質(zhì)檢項(xiàng)，無法訓(xùn)練出好的算法模型，需要繼續(xù)使用“關(guān)鍵詞+正則”的方式。
今天，我們進(jìn)一步分析，如何對不同的質(zhì)檢項(xiàng)采取不同的優(yōu)化策略，使機(jī)器質(zhì)檢和人工復(fù)檢更好地平衡，提升整體質(zhì)檢工作的效率。
召回率和準(zhǔn)確率的關(guān)系
我們希望每個(gè)質(zhì)檢項(xiàng)所命中的目標(biāo)通話又全又準(zhǔn)。這也是循環(huán)智能的質(zhì)檢產(chǎn)品引入“非正則”模式的原因。
但在優(yōu)化質(zhì)檢項(xiàng)的命中效果時(shí)，當(dāng)召回率和準(zhǔn)確率都達(dá)到了一定的高度，想要繼續(xù)提升，難免會遇到“二選一”的問題：召回率和準(zhǔn)確率互相影響、此消彼長，一個(gè)指標(biāo)增長，另一個(gè)指標(biāo)通常就會下降。
圖：Designed by Creazilla*
在實(shí)際應(yīng)用中，大部分企業(yè)的業(yè)務(wù)流程是“機(jī)器質(zhì)檢+人工復(fù)檢”：將機(jī)器質(zhì)檢的結(jié)果交給人工做復(fù)檢。因此，機(jī)器質(zhì)檢的召回率和準(zhǔn)確率變化，會影響到人工復(fù)檢的成本：
- 提升召回率（適當(dāng)犧牲準(zhǔn)確率），意味著降低“漏檢”的風(fēng)險(xiǎn)，但可能會增加“誤檢”帶來的人工復(fù)檢成本；
- 提升準(zhǔn)確率（適當(dāng)犧牲召回率），意味著降低“誤檢”帶來的人工復(fù)檢成本，但可能會增加“漏檢”的風(fēng)險(xiǎn)。
那么對于不同的質(zhì)檢項(xiàng)而言，如果碰到“二選一”的問題，該如何做出選擇？
負(fù)向質(zhì)檢項(xiàng)：通常“召回率”優(yōu)先
負(fù)向質(zhì)檢，就是找出不合格、不合規(guī)的地方。通俗地說，在銷售、客服質(zhì)檢中，是指找出業(yè)務(wù)員“說了什么不該說的”。負(fù)向質(zhì)檢是企業(yè)比較常見的需求，尤其是在受監(jiān)管比較嚴(yán)格的領(lǐng)域。
在貸后資產(chǎn)管理（催收）領(lǐng)域，質(zhì)檢項(xiàng)以負(fù)向?yàn)橹?，例如恐嚇威脅、疑似私收錢款等。負(fù)向質(zhì)檢項(xiàng)通常有兩個(gè)特征，第一是違規(guī)量通常都不太大（大部分通話不會違規(guī)），第二是漏檢之后的風(fēng)險(xiǎn)相對比較大。因此，針對負(fù)向質(zhì)檢項(xiàng)，我們通常應(yīng)該通過調(diào)整算法模型的參數(shù)或規(guī)則代碼，保證“召回率”優(yōu)先，將更多涉嫌違規(guī)的通話都找出來，然后增加人工成本去做復(fù)檢，“寧可錯(cuò)殺一片，不可放過一個(gè)”。
正向質(zhì)檢項(xiàng)：通常“準(zhǔn)確率”優(yōu)先
正向質(zhì)檢，是指對業(yè)務(wù)員符合規(guī)范的地方進(jìn)行加分激勵(lì)。最近幾年，正向質(zhì)檢越來越受到企業(yè)重視，因?yàn)樨?fù)向質(zhì)檢判斷的只是業(yè)務(wù)員有沒有犯錯(cuò)，是一種“懲惡”的理念，而正向質(zhì)檢可以用來激勵(lì)業(yè)務(wù)員變得更加專業(yè)、更加規(guī)范，是一種“揚(yáng)善”的理念，更有利于形成正向循環(huán)。
例如客服領(lǐng)域的規(guī)范性用語：“標(biāo)準(zhǔn)開場白”、“標(biāo)準(zhǔn)結(jié)束語”、“服務(wù)延伸用戶（請問還有什么可以幫您）”以及“確認(rèn)客戶預(yù)留信息”等。這類正向質(zhì)檢項(xiàng)，通常目標(biāo)通話量比較大，如果錯(cuò)誤率較高，復(fù)檢成本就會很高。面臨二選一的時(shí)候，我們通常應(yīng)該通過調(diào)整模型參數(shù)或規(guī)則代碼，優(yōu)先提升準(zhǔn)確率，降低人工復(fù)檢成本，“寧可漏掉幾個(gè)，不可錯(cuò)殺一片”。
實(shí)際場景更復(fù)雜
需要重申，我們在優(yōu)化質(zhì)檢項(xiàng)命中效果的時(shí)候，最好的情況是，能找到同時(shí)提升召回率和準(zhǔn)確率的方法，或者能找到大幅提升其中一個(gè)指標(biāo)，而另一個(gè)指標(biāo)不會明顯下降的方法。如果這兩條路都走不通，為了繼續(xù)提升效果，才需要結(jié)合漏檢的風(fēng)險(xiǎn)高低以及人工復(fù)檢的成本，進(jìn)行“二選一”。
通常，因?yàn)樨?fù)向質(zhì)檢項(xiàng)的漏檢風(fēng)險(xiǎn)比較高，所以“召回率優(yōu)先”，降低漏檢風(fēng)險(xiǎn)；而正向質(zhì)檢項(xiàng)的目標(biāo)通話量比較大，所以“準(zhǔn)確率優(yōu)先”，降低復(fù)檢成本。
不過，也有少量例外。比如有的負(fù)向質(zhì)檢項(xiàng)，目標(biāo)通話量不算少，而且風(fēng)險(xiǎn)也比較低，那可以考慮“準(zhǔn)確率優(yōu)先”；有的正向質(zhì)檢項(xiàng)，目標(biāo)通話率非常少，而且重要性比較高，那就應(yīng)該考慮“召回率優(yōu)先”。
此外，在實(shí)際應(yīng)用中，還要將其他因素綜合考慮進(jìn)去，比如不同質(zhì)檢項(xiàng)的召回率和準(zhǔn)確率提升難度不同，比如不同企業(yè)的復(fù)檢員數(shù)量是不同的……我們才能更好地制定不同質(zhì)檢項(xiàng)的優(yōu)化策略。
