火車頭采集器是一款非常不錯(cuò)的數(shù)據(jù)采集軟件，也是互聯(lián)網(wǎng)上最流行的采集工具，但是使用相對(duì)比較專業(yè)，很多火車頭采集器新手感到無(wú)從下手，今天教新手朋友們?nèi)绾慰焖偈褂没疖嚥杉瘮?shù)據(jù)。

火車頭采集器V7.6 / V8等版本

首先講一講網(wǎng)站結(jié)構(gòu)，通常網(wǎng)站結(jié)構(gòu)為樹(shù)形結(jié)構(gòu)，一個(gè)網(wǎng)站主要包以下幾種頁(yè)面：首頁(yè)、欄目頁(yè)、文章頁(yè)，其結(jié)構(gòu)如下圖。

其次講一講火車頭采集原理，火車頭的運(yùn)行需要一套規(guī)則來(lái)指定該如何采集所需數(shù)據(jù)，即需要編寫(xiě)火車頭采集規(guī)則，編寫(xiě)采集規(guī)則也是新手最頭痛的問(wèn)題。

火車頭采集器通常通過(guò)網(wǎng)址抓取網(wǎng)站返回的源代碼，然后在源代碼中提取需要的信息。因此，采集數(shù)據(jù)需要先采集網(wǎng)址，然后再采集數(shù)據(jù)。

下面開(kāi)始編寫(xiě)采集規(guī)則：

運(yùn)行LocoyPlatform.exe

在左側(cè)“任務(wù)列表樹(shù)”選擇一個(gè)分組點(diǎn)擊右鍵，選擇“新建任務(wù)”彈出新建任務(wù)對(duì)話框。填寫(xiě)任務(wù)名，網(wǎng)站編碼一般選擇自動(dòng)即可。

添加起始網(wǎng)址

填寫(xiě)“第一步：采集網(wǎng)址規(guī)則”這里需要按照網(wǎng)站的樹(shù)形結(jié)構(gòu)逐級(jí)獲取下一級(jí)結(jié)構(gòu)的網(wǎng)址，直至獲取到內(nèi)容頁(yè)的網(wǎng)址。先填寫(xiě)起始網(wǎng)址，通常為目標(biāo)站首頁(yè)地址。點(diǎn)擊“添加”，在單條網(wǎng)址處填上火車頭博客的首頁(yè)地址，然后依次點(diǎn)擊“添加” ->“完成”。

編寫(xiě)“多級(jí)網(wǎng)址獲取”規(guī)則

這里需要先在起始地址頁(yè)面找到所有需要采集的欄目頁(yè)的代碼區(qū)域，先查看起始頁(yè)地址的源碼，找到如圖所示代碼區(qū)域：

9SiR火車頭采集器教程：[1]怎樣寫(xiě)采集規(guī)則_火車頭采集規(guī)則

點(diǎn)擊右側(cè)“添加”按鈕打開(kāi)“添加多級(jí)網(wǎng)址采集規(guī)則”，選擇“從頁(yè)面自動(dòng)分析得到地址鏈接”單選按鈕，在下面“從該選定區(qū)域中提取網(wǎng)址”，“從”（左側(cè)）文本框填上欄目地址代碼區(qū)域開(kāi)始之前的標(biāo)志性代碼（要保證其在該頁(yè)的唯一性），“到”右側(cè)文本框填上欄目地址代碼區(qū)域結(jié)束之后的標(biāo)志性代碼，在“結(jié)果網(wǎng)址過(guò)濾”的“必須包含”和“不得包含”文本框填上相應(yīng)代碼，如果該區(qū)域沒(méi)有多余的鏈接不需要過(guò)濾，可以不填，這里的欄目頁(yè)網(wǎng)址必須包含“category-”。然后點(diǎn)擊“保存”返回。

現(xiàn)在需要獲取內(nèi)容頁(yè)的地址。先打開(kāi)欄目頁(yè)查看源碼，查找內(nèi)容頁(yè)地址存在的區(qū)域及地址規(guī)律。按照上一步的方法先填寫(xiě)內(nèi)容頁(yè)所在區(qū)域的起始和結(jié)束標(biāo)志性代碼，然后分析這個(gè)區(qū)域中包含的鏈接與我們說(shuō)需要的內(nèi)容頁(yè)地址鏈接規(guī)律，添加過(guò)濾代碼。這里起始代碼為“<!--顯示-->”，結(jié)束代碼為“<div class="page" style="float:right">”過(guò)濾代碼為必須包含“read-”不得包含“#”。如圖：

需要注意的是這里文章比較多會(huì)有很多分頁(yè)，所以需要填寫(xiě)“列表分頁(yè)獲取”規(guī)則。通常只需要指定分頁(yè)代碼的區(qū)域，如有必要可以填寫(xiě)“組合生成列表頁(yè)分頁(yè)”規(guī)則。這里的列表分頁(yè)規(guī)則其實(shí)代碼為“<li class="pageNumber">”，結(jié)束代碼為“title="下一頁(yè)">”。如果勾選“自動(dòng)識(shí)別分頁(yè)”的話，會(huì)自動(dòng)提取a標(biāo)簽的href屬性，如果不勾選自動(dòng)識(shí)別的話，需要填寫(xiě)組合生成列表頁(yè)分頁(yè)”規(guī)則。

然后保存返回，可以通過(guò)“測(cè)試網(wǎng)址采集”來(lái)測(cè)試規(guī)則是否正確，不正確可以返回修改規(guī)則，正確的話可以開(kāi)始編寫(xiě)“第二步采集內(nèi)容規(guī)則”。

9SiR火車頭采集器教程：[1]怎樣寫(xiě)采集規(guī)則_火車頭采集規(guī)則

編寫(xiě)“第二步采集內(nèi)容規(guī)則”

先打開(kāi)內(nèi)容頁(yè)以及內(nèi)容頁(yè)的源碼，找到需要提取的信息的前后代碼特征。以提取標(biāo)題和內(nèi)容為例。首先復(fù)制文章標(biāo)題，然后在源碼中查看該標(biāo)題出現(xiàn)的幾處地方，找一處前后代碼在每一篇文章都一樣的地方，該例共出現(xiàn)了3處，第二處的代碼沒(méi)有其他干擾代碼。點(diǎn)擊“添加”，標(biāo)簽名填“標(biāo)題”，提取數(shù)據(jù)方式選擇前后截取，前后代碼分別為“<h1 class="ContentTitle"><strong>”和“</strong></h1>”。如果采集的內(nèi)容需要作進(jìn)一步處理（如替換刪除編碼轉(zhuǎn)換過(guò)濾html等），在下方“數(shù)據(jù)處理”點(diǎn)擊添加填寫(xiě)相應(yīng)規(guī)則。

再添加一個(gè)標(biāo)簽，標(biāo)簽名為“內(nèi)容”，按照上述方法填寫(xiě)內(nèi)容的前后代碼片段，需要注意的是，前后代碼片段最好不要出現(xiàn)不完整的標(biāo)簽（如：“<div class="Content-body"” 應(yīng)該寫(xiě)作“<div class="Content-body">”，一個(gè)完整的標(biāo)簽應(yīng)該是以“<”開(kāi)始，以“>”結(jié)束，如果<>之間的內(nèi)容在各個(gè)內(nèi)容頁(yè)有一部分不一樣，將不一樣的部分用（*）代替即可），否則提取的內(nèi)容會(huì)包含部分不完整的標(biāo)簽。通常正文包含的HTML會(huì)比較多，可以添加HTML過(guò)濾功能，建議僅保留段落（p）、圖片（img）、換行（br）等標(biāo)簽。

測(cè)試內(nèi)容采集規(guī)則

保存規(guī)則后返回采集內(nèi)容規(guī)則頁(yè)面，在右側(cè)“規(guī)則測(cè)試”的典型頁(yè)面文本框填上一個(gè)內(nèi)容頁(yè)的地址，然后點(diǎn)擊測(cè)試，如果下面顯示到的內(nèi)容符合預(yù)期說(shuō)明可以了，如果未獲取到內(nèi)容或者獲取到內(nèi)容不正確，返回檢查并修改規(guī)則。

9SiR火車頭采集器教程：[1]怎樣寫(xiě)采集規(guī)則_火車頭采集規(guī)則

開(kāi)始采集

選擇要采集的任務(wù)規(guī)則，勾選“采網(wǎng)址”和“采內(nèi)容”復(fù)選框，點(diǎn)擊工具欄“開(kāi)始”按鈕。

后續(xù)工作

采集到的數(shù)據(jù)保存在數(shù)據(jù)庫(kù)，可以通過(guò)在任務(wù)名上點(diǎn)右鍵，選擇“打開(kāi)DATA下任務(wù)文件夾”打開(kāi)數(shù)據(jù)庫(kù)所在位置，該數(shù)據(jù)庫(kù)可以通過(guò)ACCESS打開(kāi)和編輯。如果想要重新采集，需要通過(guò)右鍵選擇“清空該任務(wù)網(wǎng)址庫(kù)”和“清空任務(wù)所有采集數(shù)據(jù)”。

一要邊做邊保存，二要反復(fù)測(cè)試，三要有耐心。

如在數(shù)據(jù)采集、發(fā)布模塊、插件開(kāi)發(fā)等方面有疑問(wèn)，歡迎與我聯(lián)系。

愛(ài)華網(wǎng)本文地址 » http://www.klfzs.com/a/25101010/13803.html