愛華網(wǎng)有事找百度。
不知道這句話，大家陌生不？反正我是現(xiàn)在不陌生了。
還記得沒有創(chuàng)業(yè)，做飾品這一行業(yè)開始，在大連去學(xué)過軟件編程等等。那時候老師就說，讓我們多學(xué)會運用百度。
而，聽陳老師最近的講解后，終于知道了百度。
我們首先要知道，百度搜索引擎至少有兩個字典庫，其中一個是專用字典，另一個普通字典。百度的分詞系統(tǒng):首先用專有詞典采用最大正向匹配分詞,切分出部分結(jié)果。剩余沒有切分交給普通詞典。同樣采取正向最大匹配分詞，最后輸出結(jié)果。另外,GOOGLE也是采用正向最大匹配分詞算法，不過好像沒有那個專用詞典，所以很多專名都被切碎了，小心你們的名字不要在GOOGlE給切碎了，在中文分詞技術(shù)這點上GOOGLE顯然沒有百度做得細致，還需要加大力度才行。
具體我們來看看：當(dāng)我們輸入一個詞進行查詢時，百度首先是查詢專用詞典(人名,部分地名等)，將專有名稱切出，剩下的部分采取雙向匹配分詞策略。如果兩者切分結(jié)果相同，說明沒有歧義，直接輸出分詞結(jié)果。如果不一致，則輸出最短路徑的那個結(jié)果，如果長度相同。則選擇單字詞少的那一組切分結(jié)果。如果單字也相同，則選擇正向分詞結(jié)果。這個專用詞典錄入了人名(比如大長今)、稱謂(比如老太太)、部分地名(比如阿聯(lián)酋等)。估計百度是采用學(xué)術(shù)界公布的比較新的命名實體識別算法。
搜索引擎檢如何判斷用戶輸入是否是有錯誤呢？對于中文一般是拼寫錯誤，那我們就來分析拼寫檢查系統(tǒng)關(guān)注以下幾個問題:(1)系統(tǒng)如何判斷用戶的輸入是有可能發(fā)生錯誤的查詢?百度有又是如何做到這些的？百度判斷用戶輸入是否錯誤的標(biāo)準(zhǔn)，應(yīng)該是查字典，如果發(fā)現(xiàn)字典里面不包含這個詞匯，那么很有可能是個錯誤的輸入。此時啟動錯誤提示功能。例如在百度輸入查詢“紫材”。百度提供的提示詞匯為: 您要找的是不是“紫菜”（即“紫材”的同音字）。由此看出，百度必然維持著一個同音詞詞典。里面保留著同音詞信息。比如可能包含著下面這條詞條: “ zi cai 紫材”，另外還有一個標(biāo)注拼音程序，現(xiàn)在能夠看到的基本流程是：用戶輸入“紫材”，查詞典。發(fā)現(xiàn)沒有這個詞匯。啟動標(biāo)注拼音程序。將“紫材”標(biāo)注為拼音“zi cai”。然后查找同音詞詞典，發(fā)現(xiàn)同音詞“紫菜”，那么提示用戶可能的正確拼寫。
整體流程看起來很簡單，但是還有一些遺留的小問題。比如是否將詞表里面所有同音詞都作為用戶的提示信息？比如某個拼音有10個同音詞，是否都輸出呢？百度并沒有將所有同音詞都輸出，而是選擇一定篩選標(biāo)準(zhǔn)，選擇其中幾個輸出。
最后總結(jié)一下百度的拼寫檢查系統(tǒng)：
(1)百度分詞使用的詞典至少包含兩個詞典一個是普通詞典,另外一個是專用詞典(專名等), 百度利用拼音標(biāo)注程序依次掃描所有詞典中的每個詞條,然后標(biāo)注拼音,如果是多音字則把多個音都標(biāo)上
(2)通過標(biāo)注完的詞條,建立同音詞詞典,
比如上面的”長大”,會有兩個詞條:zhangdaà長大” changdaà長大。
(3)利用用戶查詢LOG頻率信息給予每個中文詞條一個權(quán)重;
(4)同音詞詞典建立完成了,當(dāng)然隨著分詞詞典的逐步擴大,同音詞詞典也跟著同步擴大;
拼寫檢查:
(1)用戶輸入查詢,如果是多個子字符串,不作拼寫檢查;
(2)對于用戶查詢，先查分詞詞典，如果發(fā)現(xiàn)有這個單詞詞條，不作拼寫檢查;
(3)如果發(fā)現(xiàn)詞典里面不包含用戶查詢，啟動拼寫檢查系統(tǒng)：
首先利用拼音標(biāo)注程序?qū)τ脩糨斎脒M行拼音標(biāo)注
(4)對于標(biāo)注好的拼音在同音詞詞典里面掃描，
如果沒有發(fā)現(xiàn)則不作任何提示；
(5)如果發(fā)現(xiàn)有詞條，則按照順序輸出權(quán)重比較大的幾個提示結(jié)果；
拼音提示:
(1)對于用戶輸入的拼音在同音詞詞典里面掃描,如果沒有發(fā)現(xiàn)則不作任何提示;
(2)如果發(fā)現(xiàn)有詞條，則按照順序輸出權(quán)重比較大的幾個提示結(jié)果。
對百度分詞算法的進一步分析，上面說過，經(jīng)過分析得出百度的分詞系統(tǒng)采用雙向最大匹配分詞.
