99热精品在线,欧美精,自慰免费,国产亚洲无码一区

湖南長(zhǎng)沙八年做網(wǎng)站,網(wǎng)絡(luò)優(yōu)化推廣服務(wù)團(tuán)隊(duì),讓您小投資大回報(bào),幫您打開網(wǎng)絡(luò)營(yíng)銷財(cái)富之門!
 業(yè)務(wù)服務(wù)熱線:0731-88571521  13637482004  
 


地址:長(zhǎng)沙市韶山南路248號(hào)南園503
      室(瀟湘晨報(bào)旁)
電話:0731-88571521
手機(jī):13637482004
Q  Q:44377655 522392221
網(wǎng)址:www.sdwxvip.com
郵箱:522392221@qq.com
網(wǎng)絡(luò)營(yíng)銷
長(zhǎng)沙做網(wǎng)站聯(lián)系電話:0731-88571521 13637482004

百度如何判斷網(wǎng)頁(yè)文章的重復(fù)度

信息來源:   發(fā)布時(shí)間:2016-7-28   瀏覽:

 1,網(wǎng)站重復(fù)內(nèi)容的判斷

  A,獲取多個(gè)網(wǎng)頁(yè);

  B,分別提取網(wǎng)頁(yè)的網(wǎng)頁(yè)正文;

  C,從網(wǎng)頁(yè)正文中提取一個(gè)或多個(gè)句子,并根據(jù)一個(gè)或多個(gè)句子計(jì)算網(wǎng)頁(yè)正文句子簽名;

  D,根據(jù)網(wǎng)頁(yè)正文句子簽名對(duì)多個(gè)網(wǎng)頁(yè)進(jìn)行聚類;

  E,針對(duì)每一類下的網(wǎng)頁(yè),計(jì)算網(wǎng)頁(yè)的附加簽名;

  F,根據(jù)附加簽名判斷每一類下的網(wǎng)頁(yè)是否重復(fù)。

  通過上述方式,網(wǎng)頁(yè)重復(fù)的判斷系統(tǒng)及其判斷方法通過包括網(wǎng)頁(yè)正文句子簽名在內(nèi)的多維度簽名有效且快速地判斷網(wǎng)頁(yè)是否重復(fù)。

  網(wǎng)站頁(yè)面基本架構(gòu)

  提取正文

  A,對(duì)網(wǎng)頁(yè)進(jìn)行分塊;

  B,對(duì)分塊后的網(wǎng)頁(yè)進(jìn)行塊過濾,以獲取包含網(wǎng)頁(yè)正文的內(nèi)容快;

  C,從內(nèi)容塊中提取網(wǎng)頁(yè)正文。

  正文分句

  A,對(duì)網(wǎng)頁(yè)正文進(jìn)行分句;

  在本步驟中,可利用分號(hào),句號(hào),感嘆號(hào)等表示句子完結(jié)的標(biāo)志符號(hào)來對(duì)網(wǎng)頁(yè)正文進(jìn)行分句。此外,還可以通過網(wǎng)頁(yè)正文的視覺信息來對(duì)網(wǎng)頁(yè)正文進(jìn)行分句。

  B,對(duì)分句后的網(wǎng)頁(yè)正文進(jìn)行過濾及轉(zhuǎn)換;

  在步驟中,首先過濾掉句子中的數(shù)字信息;版權(quán)信息以及其他對(duì)網(wǎng)頁(yè)重復(fù)判斷不起決定性作用的信息。隨后,對(duì)句子進(jìn)行轉(zhuǎn)換,例如,進(jìn)行全角/半角轉(zhuǎn)換或者繁體/簡(jiǎn)體轉(zhuǎn)換,以使得轉(zhuǎn)換后的句子的格式統(tǒng)一。

  C,從過濾及轉(zhuǎn)換后的網(wǎng)頁(yè)正文中提取最長(zhǎng)的一個(gè)或多個(gè)句子;

  在本步驟中,過濾及轉(zhuǎn)換后的網(wǎng)頁(yè)正文提取出最長(zhǎng)的一個(gè)句子或者做場(chǎng)的預(yù)定數(shù)量連續(xù)句子的組合。例如,某個(gè)網(wǎng)頁(yè)實(shí)例中,經(jīng)過過濾及轉(zhuǎn)換后的某段最長(zhǎng),遠(yuǎn)超其他句子,因此可選擇該段為網(wǎng)頁(yè)正文句子,或者選擇最長(zhǎng)的連續(xù)句子組合作為網(wǎng)頁(yè)正文句子。

  D,對(duì)一個(gè)或多個(gè)句子進(jìn)行hash簽名運(yùn)算,以獲取網(wǎng)頁(yè)正文句子簽名。




相關(guān)熱點(diǎn)文章


地址:湖南長(zhǎng)沙市韶山南路248號(hào)南園503室(瀟湘晨報(bào)旁)  網(wǎng)站ICP備案號(hào):湘ICP備13006070號(hào)  版權(quán)所有:長(zhǎng)沙斌網(wǎng)網(wǎng)絡(luò)工作室
咨詢電話:0731-88571521   13637482004
業(yè)務(wù) QQ:客服一 1306053142 客服二 1320506001 技術(shù)/售后 522392221 高級(jí)顧問 44377655
服務(wù)郵箱:fanbin@binweb.cn   522392221@qq.com
官方網(wǎng)址:www.sdwxvip.com   www.pk0731.com
旗下網(wǎng)站:斌網(wǎng)網(wǎng)絡(luò)  長(zhǎng)沙信息處  佛佛網(wǎng)  曬土貨網(wǎng)

在線客服1 在線客服2 技術(shù)咨詢 資深顧問