鏈接檢查工具(Screaming Frog SEO Spider)

鏈接檢查工具(Screaming Frog SEO Spider)是一款可以代理抓取，制作sitemap，導(dǎo)出url等功能，等非常實(shí)用的連接檢查工具，歡迎下載！

軟件介紹：

一個網(wǎng)站的內(nèi)部鏈接是否正確，是影響網(wǎng)站SEO的重要因素之一�！靶≌究客怄�，大站靠內(nèi)鏈”，只有在做好內(nèi)鏈的前提下，有規(guī)模的網(wǎng)站才能夠事半功倍的將排名優(yōu)化上去。對于鏈接爬行工具來說，可能大家第一印象想起的就是Xenu。Xenu可以說是比較早期的一批SEO工具，而Xenu的功能也是較為普通。那么今天就為大家介紹一款和Xenu同樣功能的軟件，由Screaming Frog公司所出的SEO Spider�？赡苡行┡笥褜τ赟creaming Frog不太了解，我做一下簡單的介紹吧，Screaming Frog是英國的一家網(wǎng)絡(luò)公司，而Screaming Frog SEO Spider則是他們的一個產(chǎn)品。在Moz所發(fā)布的2014 行業(yè)報(bào)告里關(guān)于Top 10 SEO工具一項(xiàng)排名，Screaming Frog 是排到了第5的位置。
Spider分為試用版與收費(fèi)版，試用版的權(quán)限較為雞肋，只能爬行抓取到500個URL而已。而收費(fèi)版的話呢，是99英鎊/年。建議大家可以下載一個試用版玩玩看，如果覺得真的不錯，Adrian建議你還是買一個正版。
Screaming Frog SEO Spider

Screaming Frog SEO Spider的界面

Spider的抓取方式可以分為Spider與URL，簡單點(diǎn)理解就是一個你可以放一個頁面或域名開始抓取，另外一個則是放一個URL文件進(jìn)去抓取。
你在輸入好url或選擇好url文件后則會開始抓取內(nèi)容，那么問題來了，Spider可以為我們抓取頁面的什么內(nèi)容呢？

頁面鏈接

文件類型與編碼

HTTP狀態(tài)碼和狀態(tài)

Title與長度

Description與長度

Keywords與長度

H1標(biāo)簽文本與長度

H2標(biāo)簽文本與長度

Canonical URL

其他（文件大小，字?jǐn)?shù)，層數(shù)，內(nèi)鏈數(shù)量，站外鏈接數(shù)量等）

對于鏈接抓取的限制上，Spider也做了許多功能。首先是下面的特殊限制：

檢查圖片

檢查css文件

檢查js文件

檢查swf文件，也就是Flash之類的

檢查外部鏈接

檢查目錄以外的鏈接

跟蹤標(biāo)識Nofollow的站內(nèi)鏈接

跟蹤表示Nofollow的外部鏈接

忽略robots.txt

總共抓取數(shù)量

總共抓取層數(shù)

這里大家可能還是看不太懂，那Adrian為大家簡單舉例解釋一下。
案例一：D姐想要抓UC所有頁面，其中不包括CSS，JS，SWF（因?yàn)檫@些浪費(fèi)時間和資源）。那么就可以取消勾選四個選項(xiàng)了；
案例二：民工想要像蜘蛛一樣爬取UC的頁面，那么就可以只勾選Ignore robots.txt這一項(xiàng)了；
案例三：何元想要只抓dx的首頁所有鏈接，全部勾選上，除了不要勾Ignore與Limit search toal就可以了，當(dāng)然記得勾上Limit Search Depth 并設(shè)置層級為1；
如果還看不懂，那我也無能為力了，只能好好培訓(xùn)一下SEO了。
其實(shí)Spider的功能有許多，我就不一一提及了。說幾個我常用的功能吧！
第一個，正則爬行頁面。
在configuration中的include和exclude里都有可以寫正則的地方，在那里你可以設(shè)置你想要特定抓取爬行的鏈接。至于怎么使壞，需要你自己想象了。
第二個，速度限制。
在configuration中的Speed中有關(guān)于速度的限制，這里需要提一下的是速度上的限制不僅僅指的是線程，還有限制抓取URL速度，例如你想要1 URL/S，又或者是2 URL/S。這個功能可以躲避部分有防重復(fù)爬行限制的網(wǎng)站。
第三個，User Agent設(shè)置。
在configuration中有一個User Agent里可以設(shè)置你的身份，你可以設(shè)置為某搜索引擎的蜘蛛或?yàn)g覽器都可以。
第四個，自定義字段檢查功能。
同樣是在configuration中的custom，這個功能可以說是比較好用的功能，主要是可以讓Spider在爬行抓取的同時可以根據(jù)你所設(shè)置的自定義字段進(jìn)行篩選。例如：我在Custom設(shè)置了包含DVD這個字眼，那么所有出現(xiàn)DVD字眼的頁面都會特別篩選出來。

歡迎下載！