国产三级小视频在线观看,超清无码不卡无码二区无码三区,777亚洲熟妇色XXXXX

主頁(yè) > 知識(shí)庫(kù) > 高手收集整理的baidu分詞算法分析之一查詢處理以及分詞技術(shù)（1）

高手收集整理的baidu分詞算法分析之一查詢處理以及分詞技術(shù)（1）

隨著搜索經(jīng)濟(jì)的崛起，人們開(kāi)始越加關(guān)注全球各大搜索引擎的性能、技術(shù)和日流量。作為企業(yè)，會(huì)根據(jù)搜索引擎的知名度以及日流量來(lái)選擇是否要投放廣告等；作為普通網(wǎng)民，會(huì)根據(jù)搜索引擎的性能和技術(shù)來(lái)選擇自己喜歡的引擎查找資料；作為技術(shù)人員，會(huì)把有代表性的搜索引擎作為研究對(duì)象. 搜索引擎經(jīng)濟(jì)的崛起，又一次向人們證明了網(wǎng)絡(luò)所蘊(yùn)藏的巨大商機(jī)。網(wǎng)絡(luò)離開(kāi)了搜索將只剩下空洞雜亂的數(shù)據(jù)，以及大量等待去費(fèi)力挖掘的金礦。
但是,如何設(shè)計(jì)一個(gè)高效的搜索引擎?我們可以以百度所采取的技術(shù)手段來(lái)探討如何設(shè)計(jì)一個(gè)實(shí)用的搜索引擎.搜索引擎涉及到許多技術(shù)點(diǎn),比如查詢處理,排序算法,頁(yè)面抓取算法,CACHE機(jī)制,ANTI-SPAM等等.這些技術(shù)細(xì)節(jié),作為商業(yè)公司的搜索引擎服務(wù)提供商比如百度,GOOGLE等是不會(huì)公之于眾的.我們可以將現(xiàn)有的搜索引擎看作一個(gè)黑盒,通過(guò)向黑盒提交輸入,判斷黑盒返回的輸出大致判斷黑盒里面不為人知的技術(shù)細(xì)節(jié).

查詢處理與分詞是一個(gè)中文搜索引擎必不可少的工作,而百度作為一個(gè)典型的中文搜索引擎一直強(qiáng)調(diào)其”中文處理”方面具有其它搜索引擎所不具有的關(guān)鍵技術(shù)和優(yōu)勢(shì).那么我們就來(lái)看看百度到底采用了哪些所謂的核心技術(shù).

我們分兩個(gè)部分來(lái)講述:查詢處理/中文分詞.

一. 查詢處理

用戶向搜索引擎提交查詢,搜索引擎一般在接受到用戶查詢后要做一些處理,然后在索引數(shù)據(jù)庫(kù)里面提取相關(guān)的信息.那么百度在接受到用戶查詢后做了些什么工作呢?

1. 假設(shè)用戶提交了不只一個(gè)查詢串,比如”信息檢索理論工具”.那么搜索引擎首先做的是根據(jù)分隔符比如空格,標(biāo)點(diǎn)符號(hào),將查詢串分割成若干子查詢串,比如上面的查詢就會(huì)被解析為:<信息檢索,理論,工具>三個(gè)子字符串;這個(gè)道理簡(jiǎn)單,我們接著往下看.

2. 假設(shè)提交的查詢有重復(fù)的內(nèi)容,搜索引擎怎么處理呢?比如查詢”理論工具理論”,百度是將重復(fù)的字符串當(dāng)作只出現(xiàn)過(guò)一次,也就是處理成等價(jià)的”理論工具”,而GOOGLE顯然是沒(méi)有進(jìn)行歸并,而是將重復(fù)查詢子串的權(quán)重增大進(jìn)行處理.那么是如何得出這個(gè)結(jié)論的呢?我們可以將”理論工具”提交給百度,返回341,000篇文檔,大致看看第一頁(yè)的返回內(nèi)容.OK.繼續(xù),我們提交查詢”理論工具理論”,在看看返回結(jié)果,仍然是那么多返回文檔,當(dāng)然這個(gè)不能說(shuō)明太多問(wèn)題,那看看第一頁(yè)返回結(jié)果的排序,看出來(lái)了嗎?順序完全沒(méi)有變化,而GOOGLE則排序有些變動(dòng),這說(shuō)明百度是將重復(fù)的查詢歸并成一個(gè)處理的,而且字符串之間的先后出現(xiàn)順序基本不予考慮(GOOGLE是考慮了這個(gè)順序關(guān)系的).

3. 假設(shè)提交的中文查詢包含英文單詞,搜索引擎是怎么處理的?比如查詢”電影BT下載”,百度的方法是將中文字符串中的英文當(dāng)作一個(gè)整體保留,并以此為斷點(diǎn)將中文切分開(kāi),這樣上述的查詢就切為<電影,BT,下載>,不論中間的英文是否一個(gè)字典里能查到的單詞也好,還是隨機(jī)的字符也好,都會(huì)當(dāng)作一個(gè)整體來(lái)對(duì)待.至于為什么,你用查詢” 電影dfdfdf下載”看看結(jié)果就知道了.當(dāng)然如果查詢中包含數(shù)字,也是如此辦理.

到目前為止,一切很簡(jiǎn)單,也很清楚,百度怎么處理用戶查詢的呢?歸納如下:首先根據(jù)分割符號(hào)將查詢分開(kāi),然后看看是否有重復(fù)的字符串,如果有,就拋棄多余的,只保留一個(gè),接著判斷是否有英文或者數(shù)字,如果有的話,把英文或者數(shù)字當(dāng)作一個(gè)整體保留并把前后的中文切開(kāi).

接著該干什么呢?該考慮分詞的問(wèn)題了.

中文分詞首先,講講百度的分詞時(shí)機(jī)或者條件問(wèn)題,是否是個(gè)中文字符串百度就拿來(lái)切一下呢?非也,要想被百度的分詞程序榮幸的切割一下也是要講條件的,哪能是個(gè)字符串就切割啊?你當(dāng)百度是賣鋸條的么? 那么什么樣的字符串才滿足被切割的條件呢?簡(jiǎn)單說(shuō)來(lái),如果字符串只包含小于等于3個(gè)中文字符的話,那就保留不動(dòng),當(dāng)字符串長(zhǎng)度大于4個(gè)中文字符的時(shí)候,百度的分詞程序才出馬大干快上,把這個(gè)字符串肢解掉. 怎么證明呢?我們向百度提交”電影下載”,看看返回結(jié)果中標(biāo)為紅字的地方,不難看出來(lái),查詢已經(jīng)被切割成<電影,下載>兩個(gè)單詞了,說(shuō)明分詞程序已經(jīng)開(kāi)工了,如果是比4個(gè)中文字符更長(zhǎng)的字符串,那分詞程序就更不客氣了,一定大卸八塊而后快.我們來(lái)看看三個(gè)字符的情況,提交查詢”當(dāng)然擇”,看起來(lái)這個(gè)查詢不倫不類,那是因?yàn)槲蚁Ｍ吹竭@個(gè)字符串被切分為<當(dāng)然,擇>,返回結(jié)果365篇相關(guān)頁(yè)面,翻到最后一頁(yè),發(fā)現(xiàn)標(biāo)紅的關(guān)鍵字都是”當(dāng)然擇”連續(xù)出現(xiàn)的情況,好像沒(méi)有切分,但是還不確定,那么再提交人工分好的查詢”當(dāng)然擇”看看,返回結(jié)果1,090,000篇,基本上可以確定沒(méi)有進(jìn)行分詞了,當(dāng)然另外一種解釋是:對(duì)于三個(gè)字符先切分,然后將切分后的結(jié)果當(dāng)作一個(gè)短語(yǔ)查詢,這樣看到的效果和沒(méi)有切分是相似的.但是我傾向于判斷百度對(duì)于少于3個(gè)字符的串沒(méi)有切分,奧卡姆不是說(shuō)了么”如無(wú)必要,勿增實(shí)體”,干嗎做無(wú)用功呢.那么如果沒(méi)有切分,會(huì)有一個(gè)隨之而來(lái)的問(wèn)題,怎么從索引庫(kù)里面提取未切分的字符串呢?這牽扯到索引的問(wèn)題,我覺(jué)得百度應(yīng)該采取了兩套索引機(jī)制,一種是按照單詞索引,一種是按照N-GRAM索引,至于索引的具體問(wèn)題,以后在詳細(xì)論述. 下面我們看看百度是采取的何種分詞算法,現(xiàn)在分詞算法已經(jīng)算是比較成熟了,有簡(jiǎn)單的有復(fù)雜的,比如正向最大匹配,反向最大匹配,雙向最大匹配,語(yǔ)言模型方法,最短路徑算法等等,有興趣的可以用GOOGLE去搜索一下以增加理解.這里就不展開(kāi)說(shuō)了.但是要記住一點(diǎn)的是:判斷一個(gè)分詞系統(tǒng)好不好,關(guān)鍵看兩點(diǎn),一個(gè)是消除歧義能力;一個(gè)是詞典未登錄詞的識(shí)別比如人名,地名,機(jī)構(gòu)名等. 那么百度用的是什么方法?我的判斷是用雙向最大匹配算法.至于怎么推理得出的,讓我們一步步來(lái)看.當(dāng)然,這里首先有個(gè)假設(shè),百度不會(huì)采取比較復(fù)雜的算法,因?yàn)榭紤]到速度問(wèn)題. 我們提交一個(gè)查詢”毛澤東北京華煙云”,又一個(gè)不知所云的查詢,盡管不知所云但是自有它的道理,我想看看百度的分詞是如何消歧以及是否有詞典未登錄詞的識(shí)別的功能,如果是正向最大匹配算法的話,那么輸出應(yīng)該是:”毛澤東/北京/華/煙云”,如果是反向最大匹配算法的話,那么輸出應(yīng)該是:”毛/澤/東北/京華煙云”,我們看看百度的分詞結(jié)果:”毛澤東/北/京華煙云”,一個(gè)很奇怪的輸出,跟我們的期望相差較多,但是從中我們可以獲得如下信息:百度分詞可以識(shí)別人名,也可以識(shí)別”京華煙云”,這說(shuō)明有詞典未登錄詞的識(shí)別的功能,我們可以假設(shè)分詞過(guò)程分為兩個(gè)階段:第一階段,先查找一個(gè)特殊詞典,這個(gè)詞典包含一些人名,部分地名以及一些普通詞典沒(méi)有的新詞,這樣首先將”毛澤東”解析出來(lái),剩下了字符串”北京華煙云”,而”北/京華煙云”,可以看作是反向最大匹配的分詞結(jié)果.這樣基本說(shuō)得通.為了證明這一點(diǎn),我們提交查詢”發(fā)毛澤東北”,我們期望兩種分詞結(jié)果,一個(gè)是正向最大匹配<發(fā)毛,澤,東北>,一個(gè)是上述假設(shè)的結(jié)果<發(fā),毛澤東,北>,事實(shí)上百度輸出是第二種情況,這樣基本能確定百度分詞采取了至少兩個(gè)詞典,一個(gè)是普通詞典,一個(gè)是專用詞典(人名等).而且是專用詞典先切分,然后將剩余的片斷交由普通詞典來(lái)切分. 繼續(xù)測(cè)驗(yàn),提交查詢”古巴比倫理”,如果是正向最大匹配,那么結(jié)果應(yīng)該是<古巴比倫,理>,如果是反向最大匹配,那么結(jié)果應(yīng)該是<古巴,比,倫理>,事實(shí)上百度的分詞結(jié)果是<古巴比倫,理>,從這個(gè)例子看,好像用了正向最大匹配算法;此外還有一些例子表明好像是使用正向最大匹配的;但是且慢,我們看這個(gè)查詢”北京華煙云”,正向最大匹配期望的結(jié)果是<北京,華,煙云>,而反向最大匹配期望的結(jié)果是<北,京華煙云>,事實(shí)上百度輸出的是后者,這說(shuō)明可能采用的反向最大匹配;從這點(diǎn)我們可以猜測(cè)百度采用的是雙向最大匹配分詞算法,如果正向和反向匹配分詞結(jié)果一致當(dāng)然好辦,直接輸出即可;但是如果兩者不一致,正向匹配一種結(jié)果,反向匹配一種結(jié)果,此時(shí)該如何是好呢?從上面兩個(gè)例子看,在這種情況下,百度采取最短路徑方法,也就是切分的片斷越少越好,比如<古巴,比,倫理>和<古巴比倫,理>相比選擇后者,<北京,華,煙云>和<北,京華煙云>相比選擇后者.還有類似的一些例子,這樣基本可以解釋這些輸出結(jié)果. 但是仍然遺留的問(wèn)題是:如果正向反向分詞不一致,而且最短路徑也相同,那怎么辦?輸出正向的還是反向的結(jié)果?我們?cè)賮?lái)看一個(gè)例子.提交查詢”遙遠(yuǎn)古古巴比倫”,這個(gè)查詢被百度切分為<遙遠(yuǎn),古古,巴比倫>,說(shuō)明詞典里面有”巴比倫”,但是是否有”古巴比倫”這個(gè)詞匯不確定,此時(shí)看不出是正向切分還是反向切分得出的結(jié)果,換查詢?yōu)椤边b遠(yuǎn)古巴比倫”,此時(shí)被切分為”遙遠(yuǎn)/古巴比倫”,這說(shuō)明詞典里面有”古巴比倫”這個(gè)詞匯,這說(shuō)明了”遙遠(yuǎn)古古巴比倫”是正向最大匹配的結(jié)果.那為什么”遙遠(yuǎn)古古巴比倫”不會(huì)被反向切分為”遙/遠(yuǎn)古/古巴比倫”呢,百度的可能選擇是這種情況下選擇單字少的那組切分結(jié)果. 當(dāng)然還可以繼續(xù)追問(wèn):如果切分后單字也一樣多,那怎么辦?最后看一個(gè)例子,查詢”王強(qiáng)大小:”,百度將其切分為”王/強(qiáng)大/小”,是正向切分的結(jié)果,如果是反向的會(huì)被切分為”王/強(qiáng)/大小”,這說(shuō)明有歧義而且單字也相同則選擇正向切分結(jié)果. OK,看到這里可能頭已經(jīng)有些暈了,最后總結(jié)一下百度的分詞算法,當(dāng)然里面還是有猜測(cè)的成分,算法如下: 首先查詢專用詞典(人名,部分地名等),將專有名稱切出,剩下的部分采取雙向分詞策略,如果兩者切分結(jié)果相同,說(shuō)明沒(méi)有歧義,直接輸出分詞結(jié)果.如果不一致,則輸出最短路徑的那個(gè)結(jié)果,如果長(zhǎng)度相同,則選擇單字詞少的那一組切分結(jié)果.如果單字也相同,則選擇正向分詞結(jié)果.. 百度一直宣傳自己在中文處理方面的優(yōu)勢(shì),從上面看,分詞算法并無(wú)特殊之處,消歧效果并不理想,即使百度采取比上述分詞算法復(fù)雜些的算法也難以說(shuō)成是優(yōu)勢(shì),如果說(shuō)百度有優(yōu)勢(shì)的話,唯一的優(yōu)勢(shì)就是那個(gè)很大的專用詞典,這個(gè)專用詞典登錄了人名(比如大長(zhǎng)今),稱謂(比如老太太),部分地名(比如阿聯(lián)酋等),估計(jì)百度采用學(xué)術(shù)界公布的比較新的命名實(shí)體識(shí)別算法從語(yǔ)料庫(kù)里面不斷識(shí)別出詞典未登錄詞,逐漸擴(kuò)充這個(gè)專門詞典.如果這就是優(yōu)勢(shì)的話,那么這個(gè)優(yōu)勢(shì)能夠保持多久就是個(gè)很明顯的問(wèn)題.

標(biāo)簽：懷化賀州黃山通遼湖北湘潭煙臺(tái) 山南

巨人網(wǎng)絡(luò)通訊聲明：本文標(biāo)題《高手收集整理的baidu分詞算法分析之一查詢處理以及分詞技術(shù)（1）》，本文關(guān)鍵詞；如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問(wèn)題，煩請(qǐng)?zhí)峁┫嚓P(guān)信息告之我們，我們將及時(shí)溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò)，涉及言論、版權(quán)與本站無(wú)關(guān)。

高手收集整理的baidu分詞算法分析之一 查詢處理以及分詞技術(shù)（1）

QQ咨詢

電話咨詢

高手收集整理的baidu分詞算法分析之一查詢處理以及分詞技術(shù)（1）