杰靈采集器是一款免費(fèi)的網(wǎng)頁(yè)數(shù)據(jù)采集器,免費(fèi)網(wǎng)站采集器與文章采集軟件,免費(fèi)實(shí)用,支持單頁(yè)抓取,多線(xiàn)程抓取、批量采集等功能!有需要的小伙伴歡迎來(lái)西西下載體驗(yàn)。
軟件特色:
免費(fèi)實(shí)用
全部功能免費(fèi)開(kāi)放,免費(fèi)提供開(kāi)源發(fā)布接口
支持單頁(yè)抓取
支持指定URL網(wǎng)址 抓取內(nèi)容
多線(xiàn)程抓取
多任務(wù)多線(xiàn)程快速抓取
批量采集
列表采集、內(nèi)容采集、內(nèi)容發(fā)布分步或合并批量采集
SQLite數(shù)據(jù)庫(kù)
廣泛使用的SQLite數(shù)據(jù)庫(kù)存貯,輕型高效
圖片附件下載保存
采集同時(shí)保存遠(yuǎn)程圖片本地化
附件上傳
支持圖片附件自動(dòng)上傳至網(wǎng)站
通用網(wǎng)站接口
discuz,wordpress,dedecms,帝國(guó)cms等開(kāi)源程序
自動(dòng)縮略圖
內(nèi)容頁(yè)提取首頁(yè)圖片為縮略圖
圖片水印
自定義logo或文字水印
正則表達(dá)式
支持正則提取或過(guò)濾內(nèi)容
多級(jí)頁(yè)面采集
支持無(wú)限級(jí)多級(jí)頁(yè)面抓取
基礎(chǔ)術(shù)語(yǔ):
1:發(fā)布規(guī)則
模擬網(wǎng)站后臺(tái)手工添加數(shù)據(jù) 所需要提交的POST參數(shù)規(guī)則集合,是存貯在本地的。
主要包括自已網(wǎng)站的接口網(wǎng)址,網(wǎng)站編碼,接口所需要的表單。如下圖所示
2:發(fā)布接口
發(fā)布接口是:發(fā)布接口是放在網(wǎng)站目錄下的php,asp等動(dòng)態(tài)執(zhí)行腳本文件(存貯在服務(wù)器上網(wǎng)站目錄下的)
以帝國(guó)CMS為例:接口文件名稱(chēng)jieling.php放置/e/admin/目錄下即可
3:采集任務(wù)
在左側(cè)任務(wù)欄,添加任務(wù),每個(gè)任務(wù)主要包含[采集內(nèi)容設(shè)置]、[發(fā)布內(nèi)容設(shè)置]。
更新日志:
20190708
1、新增支持php插件,支持回調(diào)修改其他字段(詳見(jiàn)-->點(diǎn)擊)
2、新增支持javascript插件,支持回調(diào)修改其他字段(詳見(jiàn)-->點(diǎn)擊 )
3、新增數(shù)據(jù)庫(kù)報(bào)表支持多選
4、新增過(guò)濾篩選支持文本導(dǎo)入,全局關(guān)鍵詞過(guò)濾
5、新增列表區(qū)域提取 支持正則提取 如[\s\S]+提取全文
6、新增字段設(shè)置 內(nèi)置大量常用規(guī)則,點(diǎn)擊圖標(biāo),快速選用即可
7、新增采集的時(shí)候可指定ssl版本號(hào)(設(shè)置1.1或1.2或留空)
8、新增EXCEL導(dǎo)入支持指定EXCEL起始行
9、新增數(shù)據(jù)查看器,sql語(yǔ)句歷史紀(jì)錄功能
10、新增網(wǎng)址包含 可用|(或)篩選網(wǎng)址
11、新增單篇發(fā)布,如404,500錯(cuò)誤 ,將顯示錯(cuò)誤文本
12、修復(fù)WIN2012以上版本遠(yuǎn)程桌面特殊情況導(dǎo)致無(wú)法保存任務(wù)的BUG
13、修復(fù)內(nèi)容頁(yè)分頁(yè)內(nèi)存溢出bug
14、修復(fù)列表采集超長(zhǎng)時(shí)間延時(shí)無(wú)法快速停止的bug
15、修復(fù)//開(kāi)頭的無(wú)協(xié)議鏈接,自動(dòng)轉(zhuǎn)化為對(duì)應(yīng)協(xié)議http(s)://