火車采集器(LocoySpider)

火車采集器是一款專為站長提供的網(wǎng)站采集分析工具，這款軟件幾乎能采集所有網(wǎng)頁，而且速度非�？欤�采集/發(fā)布如同復(fù)制/粘貼一樣精準(zhǔn)。通過靈活的配置，您可以很輕松的從網(wǎng)頁上抓取文字、圖片、文件等任何資源。

軟件特色：

1、通用性強
無論新聞、論壇、視頻、黃頁、圖片、下載類網(wǎng)站，只要通過瀏覽器能看到的結(jié)構(gòu)化的內(nèi)容，通過指定匹配規(guī)則，都能采集到您所需要的內(nèi)容。
2、穩(wěn)定、高效
五年磨一劍，軟件不斷更新進步，采集速度快，性能穩(wěn)定，占用資源少。
3、擴展性強、適用范圍廣
自定義web發(fā)布，自定義主流的數(shù)據(jù)庫的保存和發(fā)布，自定義本地php及.net外部編程接口處理數(shù)據(jù)，讓數(shù)據(jù)都能為你所用。

功能介紹：

1、規(guī)則自定義 - 通過采集規(guī)則的定義，可以搜索所有網(wǎng)站采集幾乎任何類型的信息。
2、多任務(wù)，多線程 - 可以同時進行多個信息采集任務(wù)，每個任務(wù)可以使用多個線程。
3、所見即所得 － 任務(wù)采集過程所見即所得，過程中遍歷的鏈接信息、采集信息、錯誤信息等都會及時的反映在軟件界面中。
4、數(shù)據(jù)保存 － 數(shù)據(jù)邊采集邊自動保存到關(guān)系數(shù)據(jù)庫中，并且數(shù)據(jù)結(jié)構(gòu)能夠自動適應(yīng)，軟件可以根據(jù)采集規(guī)則自動創(chuàng)建數(shù)據(jù)庫，以及其中的表和字段，也可以通過導(dǎo)庫方式靈活的將數(shù)據(jù)保存到客戶已有的數(shù)據(jù)庫結(jié)構(gòu)中。
5、斷點續(xù)采 - 信息采集任務(wù)可以在停止后從斷點開始繼續(xù)采集，從此你用不再擔(dān)心你的采集任務(wù)意外中斷了。
6、網(wǎng)站登錄 － 支持網(wǎng)站Cookie，支持網(wǎng)站可視化登錄，即使登錄時需要驗證碼的網(wǎng)站也能采集。
7、計劃任務(wù) - 通過這個功能可以讓你的采集任務(wù)定時、定量或者一直循環(huán)執(zhí)行。
8、采集范圍限制 - 可以根據(jù)采集的深度和網(wǎng)址的標(biāo)識來限制采集的范圍。
9、文件下載 － 可以將采集到的二進制文件（諸如：圖片、音樂、軟件、文檔等等）下載到本地磁盤或者采集結(jié)果數(shù)據(jù)庫中。
10、結(jié)果替換 - 可以將采集的結(jié)果根據(jù)規(guī)則替換成你定義的內(nèi)容。
11、條件保存 - 可以根據(jù)某個條件來決定那些信息保存，那些信息過濾。
12、過濾重復(fù)內(nèi)容 － 軟件可根據(jù)用戶設(shè)置和實際情況對重復(fù)內(nèi)容和重復(fù)網(wǎng)址自動刪除重復(fù)內(nèi)容。
13、特殊鏈接識別 - 運用此功能可以將用JavaScript動態(tài)生成的鏈接或其他更古怪的連接識別出來。
14、數(shù)據(jù)發(fā)布 － 可以通過自定義接口，將已采集的結(jié)果數(shù)據(jù)發(fā)布到任意的內(nèi)容管理系統(tǒng)和指定數(shù)據(jù)庫中�，F(xiàn)在已支持的目標(biāo)發(fā)布媒體包括：數(shù)據(jù)庫(access, sql server,my sql,oracle) ，靜態(tài)htm文件。
15、預(yù)留編程接口 － 定義多個編程接口，用戶可以在事件中利用PHP,C#語言進行編程，擴充采集功能。

更新內(nèi)容：

2019-05-07

1.優(yōu)化效率修復(fù)運行大量任務(wù)時運行卡頓問題

2.修復(fù)大量代理時配置文件鎖死程序退出問題

3.修復(fù)部分情況下mysql鏈接不上問題

4.其它界面和功能優(yōu)化

2018/08/06

1、調(diào)整列表頁排重的方式，現(xiàn)在僅會在同級列表頁之間進行排重
2、增加對于任務(wù)運行完畢之后的運行統(tǒng)計的預(yù)警功能(Email郵件預(yù)警)【旗艦版功能】
3、新增支持對于一些請求返回碼不為200時，仍然進行采集的配置
4、新增支持將下載地址保存為html文件的功能
5、二次代理服務(wù)，增加導(dǎo)入的時候配置代理類型，同時修復(fù)對于用戶名密碼的顯示錯誤問題
6、發(fā)布配置頁面，默認(rèn)僅顯示當(dāng)前選擇配置，加快任務(wù)加載時間
7、修復(fù)命令行控制，closeapp參數(shù)無法自動關(guān)閉程序的問題
8、修復(fù)在未選擇圖片水印時，無法進行圖片裁剪的問題
9、優(yōu)化開始界面加載方式，解決初始化界面卡頓的問題
10、修復(fù)在配置多行連接符包含“l(fā)”導(dǎo)致的無法探測圖片下載的問題
11、修復(fù)Excel導(dǎo)出數(shù)據(jù)時，列的順序與字段順序不一致的問題
12、修復(fù)Excel導(dǎo)出數(shù)據(jù)時，一些包含數(shù)字的字段的導(dǎo)出數(shù)據(jù)錯誤問題