無語網(wǎng)站鏈接抓取器

無語網(wǎng)站鏈接抓取器是一款綠色免費(fèi)的網(wǎng)站鏈接采集軟件。軟件功能強(qiáng)大，可以抓取目標(biāo)網(wǎng)站所有內(nèi)頁地址，保存為TXT格式。顧名思義，主要是用來抓取網(wǎng)站鏈接的，也就是輸入一個(gè)網(wǎng)站的首頁地址，然后軟件可以把整個(gè)網(wǎng)站頁面地址給抓取下來并保存。

功能特點(diǎn)

1、抓取目標(biāo)網(wǎng)站的所有網(wǎng)頁地址。
2、自行設(shè)置線程數(shù)，以達(dá)到最高效率。
3、按設(shè)置條數(shù)自動(dòng)分割、保存為TXT。

軟件功能

一、制作網(wǎng)站地圖

使用軟件保存的TXT。直接上傳到網(wǎng)站根目錄就可以成為一個(gè)簡(jiǎn)單的TXT網(wǎng)站地圖。

制作成網(wǎng)站地圖后，可到 http://zhanzhang.baidu.com/sitemap/index 進(jìn)行提交，以增加收錄。

二、手動(dòng)提交網(wǎng)址

可以把軟件抓取下來的鏈接自己進(jìn)行提交，增加蜘蛛的爬取頻率，從而增加收錄量。可配合本站的“百度URL批量提交工具”一起使用。

三、檢查失誤

所謂的失誤，是指某些后臺(tái)鏈接。不想讓用戶知道的。但是由于不小心在程序的某個(gè)地方有該網(wǎng)頁的鏈接自己沒注意到。這時(shí)候就可以使用軟件把整個(gè)網(wǎng)站的鏈接抓取下來。然后檢查看看有沒有敏感鏈接。

四、檢查收錄

可以查看一下百度對(duì)本站的索引量。然后使用軟件把網(wǎng)站的所有鏈接都抓取下來。看看數(shù)量上的差距是否比較大。如果差距過大，則要注意是否空間不穩(wěn)定或者文章質(zhì)量太低或者暴光率太低。

使用方法

1、輸入需要抓取的網(wǎng)站首頁地址。

2、設(shè)置線程數(shù)量。（線程越少，速度越慢，耗CPU及網(wǎng)速越低，越不容易漏掉鏈接。線程越多，速度越快，耗CPU及網(wǎng)速越高，漏抓取機(jī)率高。）

3、選擇抓取后的鏈接保存地址。（注：如果選擇的TXT名稱為 abc.txt的話。軟件會(huì)保存為 abc_*.txt 的形式）

4、選擇每個(gè)TXT保存的條數(shù)。（以第3條舉例，如果這里設(shè)置為5000，當(dāng)abc_1.txt保存的鏈接數(shù)到達(dá)5000，后面的鏈接會(huì)自動(dòng)保存到abc_2.txt里，依此類推。）

5、開始

更新日記

解決某些網(wǎng)站抓取失敗的問題