Screaming Frog SEO Spider(網(wǎng)絡(luò)爬蟲(chóng))

Screaming Frog SEO Spider(網(wǎng)絡(luò)爬蟲(chóng))是一款網(wǎng)站爬蟲(chóng)工具，它會(huì)通過(guò)你提供的網(wǎng)站主域爬取你的網(wǎng)站，并獲取你網(wǎng)站里所有的網(wǎng)頁(yè)以及關(guān)鍵元素，并實(shí)時(shí)提供分析結(jié)果。它的功能非常強(qiáng)大，對(duì)于日常的SEO工作來(lái)說(shuō)，它不僅能提升工作效率，還能清楚的了解到網(wǎng)站的結(jié)構(gòu)及頁(yè)面結(jié)構(gòu)。

軟件功能

1、獲取網(wǎng)站內(nèi)所有的鏈接及導(dǎo)出鏈接

網(wǎng)站內(nèi)所有的鏈接包括html、css、JavaScript、圖片等，導(dǎo)出鏈接可以獲取網(wǎng)站內(nèi)容所有導(dǎo)出的鏈接，方便大家清理不想導(dǎo)出的鏈接。

2、列出所有鏈接的信息

尖叫青蛙強(qiáng)大的地方就在于它不僅獲取了網(wǎng)站內(nèi)所有的鏈接，我們通過(guò)鏈接的就能獲取到該鏈接的所有信息，大致包括該鏈接包含鏈接數(shù)、狀態(tài)碼、是否被robots屏蔽、該網(wǎng)頁(yè)標(biāo)題、標(biāo)題長(zhǎng)度、描述、關(guān)鍵詞、發(fā)布時(shí)間等等所有的信息，分析的信息詳細(xì)到只有你想不到的，沒(méi)有你找不到的。

3、快速找出網(wǎng)站中的死鏈（404鏈接）

上面說(shuō)到可以查看每個(gè)鏈接的狀態(tài)碼，通過(guò)狀態(tài)碼，我們就能快速找到網(wǎng)站中存在的死鏈。相信很多小伙伴都會(huì)頭疼蜘蛛每天在抓死鏈卻找不出死鏈出現(xiàn)在哪個(gè)位置，而這款工具除了能找出網(wǎng)頁(yè)中所有的死鏈外，它更厲害的是你可以點(diǎn)擊一個(gè)死鏈，在inlink標(biāo)簽里就能顯示在哪些頁(yè)面含有這個(gè)死鏈。是不是很方便？

4、生成xml地圖

這款工具可以快速創(chuàng)建XML站點(diǎn)地圖和圖像XML站點(diǎn)地圖，通過(guò)URL進(jìn)行高級(jí)配置，包括上次修改，優(yōu)先級(jí)和更改頻率。

5、有助審查robots和其他指令

通過(guò)尖叫青蛙工具里的indexability欄，你可以清楚的看到每一個(gè)鏈接是否被robots屏蔽、是否被nofollow。

6、分析站點(diǎn)架構(gòu)

通過(guò)使用交互式爬網(wǎng)和目錄強(qiáng)制導(dǎo)向圖和樹(shù)形圖，可以有助你們分析可視化的評(píng)估內(nèi)部鏈接和URL結(jié)構(gòu)。

7、其他一些功能

除了以上功能外，尖叫青蛙還有其他一些功能，比如查看鏈接是否被重定向、網(wǎng)頁(yè)大小、鏈接細(xì)節(jié)信息、搜索結(jié)果展示頁(yè)效果圖、列舉網(wǎng)頁(yè)內(nèi)的h標(biāo)簽、rel=“next”和rel=“prev”(文章頁(yè)上下篇鏈接)、檢查重復(fù)的URL等等。

除了以上功能外，尖叫青蛙還有其他一些功能，比如查看鏈接是否被重定向、nofollow、網(wǎng)頁(yè)大小、鏈接細(xì)節(jié)信息、搜索結(jié)果展示頁(yè)效果圖、列舉網(wǎng)頁(yè)內(nèi)的h標(biāo)簽、rel=“next”和rel=“prev”(文章頁(yè)上下篇鏈接)、檢查重復(fù)的URL等等。

功能介紹

Spider的抓取方式可以分為Spider與URL，簡(jiǎn)單點(diǎn)理解就是一個(gè)你可以放一個(gè)頁(yè)面或域名開(kāi)始抓取，另外一個(gè)則是放一個(gè)url文件進(jìn)去抓取。
你在輸入好url或選擇好url文件后則會(huì)開(kāi)始抓取內(nèi)容，那么問(wèn)題來(lái)了，Spider可以為我們抓取頁(yè)面的什么內(nèi)容呢？
頁(yè)面鏈接
文件類(lèi)型與編碼
HTTP狀態(tài)碼和狀態(tài)
Title與長(zhǎng)度
Description與長(zhǎng)度
Keywords與長(zhǎng)度
H1標(biāo)簽文本與長(zhǎng)度
H2標(biāo)簽文本與長(zhǎng)度
Canonical URL
其他（文件大小，字?jǐn)?shù)，層數(shù)，內(nèi)鏈數(shù)量，站外鏈接數(shù)量等）
對(duì)于鏈接抓取的限制上，Spider也做了許多功能。首先是下面的特殊限制：
檢查圖片
檢查css文件
檢查js文件
檢查swf文件，也就是Flash之類(lèi)的
檢查外部鏈接
檢查目錄以外的鏈接
跟蹤標(biāo)識(shí)Nofollow的站內(nèi)鏈接
跟蹤表示Nofollow的外部鏈接
忽略robots.txt
總共抓取數(shù)量
總共抓取層數(shù)
這里大家可能還是看不太懂，那Adrian為大家簡(jiǎn)單舉例解釋一下。
案例一：D姐想要抓UC所有頁(yè)面，其中不包括CSS，JS，SWF（因?yàn)檫@些浪費(fèi)時(shí)間和資源）。那么就可以取消勾選四個(gè)選項(xiàng)了；
案例二：民工想要像蜘蛛一樣爬取UC的頁(yè)面，那么就可以只勾選Ignore robots.txt這一項(xiàng)了；
案例三：何元想要只抓dx的首頁(yè)所有鏈接，全部勾選上，除了不要勾Ignore與Limit search toal就可以了，當(dāng)然記得勾上Limit Search Depth 并設(shè)置層級(jí)為1；
如果還看不懂，那我也無(wú)能為力了，只能是找D姐給你好好培訓(xùn)一下SEO了。
其實(shí)Spider的功能有許多，我就不一一提及了。說(shuō)幾個(gè)我常用的功能吧！
第一個(gè)，正則爬行頁(yè)面。
在configuration中的include和exclude里都有可以寫(xiě)正則的地方，在那里你可以設(shè)置你想要特定抓取爬行的鏈接。至于怎么使壞，需要你自己想象了。
第二個(gè)，速度限制。
在configuration中的Speed中有關(guān)于速度的限制，這里需要提一下的是速度上的限制不僅僅指的是線程，還有限制抓取URL速度，例如你想要1 URL/S，又或者是2 URL/S。這個(gè)功能可以躲避部分有防重復(fù)爬行限制的網(wǎng)站。
第三個(gè)，User Agent設(shè)置。
在configuration中有一個(gè)User Agent里可以設(shè)置你的身份，你可以設(shè)置為某搜索引擎的蜘蛛或?yàn)g覽器都可以。
第四個(gè)，自定義字段檢查功能。
同樣是在configuration中的custom，這個(gè)功能可以說(shuō)是比較好用的功能，主要是可以讓Spider在爬行抓取的同時(shí)可以根據(jù)你所設(shè)置的自定義字段進(jìn)行篩選。例如：我在Custom設(shè)置了包含DVD這個(gè)字眼，那么所有出現(xiàn)DVD字眼的頁(yè)面都會(huì)特別篩選出來(lái)。
還有其他的功能，如：代理抓取，制作sitemap，導(dǎo)出url等功能，都是比較實(shí)用的。

提取碼：526663