水淼萬能文章采集器

水淼萬能文章采集器是一款基于高精度正文識別算法的互聯(lián)網(wǎng)文章采集器。支持按關(guān)鍵詞采集百度等搜索引擎的新聞源（news.baidu.com）和泛網(wǎng)頁（www.baidu.com），支持采集指定網(wǎng)站欄目下的全部文章。 

軟件介紹：

水淼軟件獨家首創(chuàng)智能的萬能算法，可以精確提取網(wǎng)頁里的正文部分保存為文章。

支持去標簽、鏈接、郵箱等格式化處理。還有插入關(guān)鍵詞功能，可以識別標簽或標點旁邊插入，并且能識別英文空格間距插入。

更有文章轉(zhuǎn)譯功能，也就是可以將文章從一種語言如中文轉(zhuǎn)到另一種語言如英文或日文，再從英文或日文轉(zhuǎn)回中文，這樣就是一個轉(zhuǎn)譯周期，可以設(shè)定轉(zhuǎn)譯周期循環(huán)多次（轉(zhuǎn)譯次數(shù)）。

采集文章+翻譯偽原創(chuàng)可以滿足廣大站長朋友們在各領(lǐng)域主題的文章需求。

而一些公關(guān)處理、信息調(diào)查公司所需的由專業(yè)公司開發(fā)的信息采集系統(tǒng)，售價往往達到上萬甚至更多，而水淼的這款軟件也是一款信息采集系統(tǒng)，功能跟市面上昂貴售價的軟件有相通之處，但價格只有區(qū)區(qū)幾百元，性價比如何試試就知。

功能說明：

什么是高精度正文識別算法
此算法由水淼自主研發(fā)，可以在一個網(wǎng)頁里提取出正文部分，通常精度可以達到95%，如果再進一步設(shè)置最少字數(shù)，采集的文章的精度（正確性）可以達到99%。同時文章標題也實現(xiàn)99%的提取精度。當(dāng)然，一些網(wǎng)頁排版格式比較混亂、不規(guī)則時，該精度可能有所下降。

正文提取模式
正文提取算法有3種模式，標準、嚴格、精確標簽。大多數(shù)情況，標準和嚴格模式是相同的提取結(jié)果。下面說的是特殊情況：

標準模式：即一般性提取，大多數(shù)時候能夠精確提取正文，但一些特殊頁面會導(dǎo)致提取到一些不需要內(nèi)容（但本模式能夠較好識別類似百度經(jīng)驗的文章頁面）

嚴格模式：顧名思義，比標準模式嚴格一點，可以很大程度避免不相關(guān)內(nèi)容提取為正文，但對于特殊分段頁面如百度經(jīng)驗的頁面（不是一般<p></p><br>段落，而是有格式的多個獨立div段），一般只能提取到某一段，而標準模式則可以提取全部段。

精確標簽：當(dāng)標準和嚴格模式不管用時，可以精確指定目標正文的標簽頭。本模式只適合網(wǎng)絡(luò)批處理。

所以可以根據(jù)實際情況來切換模式�？梢允褂帽镜嘏�處理的讀網(wǎng)頁正文功能來測試指定網(wǎng)頁適合哪種模式提取。

采集時的處理選項
采集時可以同時進行轉(zhuǎn)譯、過濾、查詞等處理。對于已采集好的文章可以使用《本地批處理》處理。
其中的轉(zhuǎn)譯功能，就是將中文翻譯成英文再翻譯回中文，也就產(chǎn)生了偽原創(chuàng)效果。支持原格式轉(zhuǎn)譯，也就是不改變文章原有標簽結(jié)構(gòu)、排版格式。

采集目標為網(wǎng)址
可以在網(wǎng)址模板里插入 #網(wǎng)址#、#標題#來組合引用

分頁采集和相對路徑轉(zhuǎn)為絕對路徑
打勾“自動采集分頁”就能將分頁文章采集合并，編輯框設(shè)置值為采集分頁的最大數(shù)量。建議設(shè)置一個有限值如10頁，避免一些分頁過多的采集耗費時間長，合并后的文章體積大。如果需要采集全部分頁，可以設(shè)置為0。
而文章里的所有相對路徑都將自動轉(zhuǎn)為絕對路徑，如此可確保圖片等正常顯示。

多線程
支持多線程高速采集網(wǎng)頁�？梢愿鶕�(jù)網(wǎng)速而定，電信2m可以5個線程，電信4m可以10個線程，更多以此類推，但需適當(dāng)設(shè)置，設(shè)置太多將可能嚴重影響采集效率甚至影響系統(tǒng)效率。如果采集時有其他占用流量的軟件在運行比如在線視頻播放，可以適當(dāng)降低線程數(shù)。

文章標題和文章內(nèi)容重復(fù)的處理

程序可以智能判斷并過濾重復(fù)文章
當(dāng)采集到的文章標題（文件名）與本地已經(jīng)保存的文章標題相同時，水淼將首先判斷兩篇文章的相似度，當(dāng)相似度大于 60% 時，水淼判斷為相同文章，這時再比較兩篇文章的文字多寡，自動使用文字多的文章覆蓋寫出到相同文件名處。這樣的生成情況是不累加到生成數(shù)量的。
而當(dāng)相似度低于 60% 時，水淼判斷為不同文章，將自動重命名標題（取3到5個隨機字母接在標題尾）保存到文件。

文章快速篩選器
雖然水淼研究了一個準確率極高的正文提取算法，但難免還是有極少數(shù)提取錯誤，這些錯誤主要是：目標網(wǎng)頁的主體是在線視頻，或主體內(nèi)容過于簡短而無法形成正文的特征。因此可以通過設(shè)置提取最終結(jié)果的字數(shù)多少來提高準確率（在“正文最少字數(shù)”參數(shù)，這個字數(shù)是程序?qū)⒄�文去標簽、去行、去空格之后的純文字字�?shù)）。
而文章快速篩選器就是為了快速查看采集好的文章，方便判斷刪除提取正文錯誤的文章。同時也方便基于網(wǎng)絡(luò)信息采集目的而需要進行的煉選過程。

生成篇數(shù)不固定的問題
百度、搜搜默認每頁100條結(jié)果，谷歌默認每頁10條結(jié)果。
一些網(wǎng)站訪問速度超時（尤其是谷歌收錄的不少都是一些被墻的網(wǎng)站），或設(shè)置了正文最少字數(shù)，或程序忽略已在本地有同名的相似內(nèi)容文章，或黑名單白名單的過濾等，都會造成實際生成篇數(shù)低于一頁搜索最大結(jié)果數(shù)。
總體來說，百度采集的質(zhì)量最好，生成篇數(shù)貼近搜索結(jié)果數(shù)。

更新日志：

1.12：持續(xù)增強網(wǎng)絡(luò)批處理的欄目URL采集器對于文章URL的識別能力，并支持多種地址格式同時匹配

1.11：增強網(wǎng)絡(luò)批處理的欄目URL采集器對于文章URL的識別能力

1.10：修復(fù)轉(zhuǎn)譯功能轉(zhuǎn)譯失敗的問題