西西軟件園多重安全檢測(cè)下載網(wǎng)站、值得信賴的軟件下載站!
軟件
軟件
文章
搜索

首頁(yè)西西教程其它教程 → 百度站長(zhǎng)平臺(tái)ETag的作用 對(duì)站點(diǎn)服務(wù)器如何配置ETag

百度站長(zhǎng)平臺(tái)ETag的作用 對(duì)站點(diǎn)服務(wù)器如何配置ETag

相關(guān)軟件相關(guān)文章發(fā)表評(píng)論 來(lái)源:站長(zhǎng)平臺(tái)時(shí)間:2015/9/18 9:16:16字體大。A-A+

作者:站長(zhǎng)平臺(tái)點(diǎn)擊:208次評(píng)論:0次標(biāo)簽: 站長(zhǎng)平臺(tái)

.NETv3.0 可再發(fā)行組件包
  • 類型:編程輔助大小:2.7M語(yǔ)言:中文 評(píng)分:1.8
  • 標(biāo)簽:
立即下載

一、ETag簡(jiǎn)介

ETag(EntityTags)是URL的tag,用來(lái)標(biāo)示URL對(duì)象是否改變,這樣可利用客戶端(例如瀏覽器)的緩存。由服務(wù)器首先產(chǎn)生ETag,客戶端通過(guò)將該記號(hào)傳回服務(wù)器要求服務(wù)器驗(yàn)證其(客戶端)緩存。服務(wù)器使用它來(lái)判斷頁(yè)面是否已經(jīng)被修改,如果未修改返回304,而不必重新傳輸整個(gè)對(duì)象。

二、現(xiàn)在站點(diǎn)sitemap存在的問(wèn)題

1.發(fā)現(xiàn)更新不及時(shí)
       當(dāng)站點(diǎn)或其sitemap發(fā)生更新時(shí),百度難以及時(shí)發(fā)現(xiàn)并響應(yīng),因?yàn)榘俣入y以無(wú)時(shí)無(wú)刻地持續(xù)檢查站點(diǎn)內(nèi)容和sitemap是否更新。

2.全量抓取,消耗帶寬
       現(xiàn)在百度對(duì)站點(diǎn)sitemap的抓取會(huì)將sitemap文件完整下載下來(lái),鑒于sitemap文件一般較大,而這種下載可能存在多次,故比較消耗網(wǎng)站的流量和帶寬。

三、ETag作用

HTTP1.1用Etag來(lái)判斷請(qǐng)求的文件是否被修改,主要為了解決Last-Modified無(wú)法解決的一些問(wèn)題

1、一些文件也許會(huì)周期性的更改,但是他的內(nèi)容并不改變(僅僅改變的修改時(shí)間),這個(gè)時(shí)候并不希望客戶端認(rèn)為這個(gè)文件被修改了重新GET;
       2、某些文件修改非常頻繁, 1秒內(nèi)修改了N次,If-Modified-Since能檢查到的粒度是秒級(jí)的,這種修改無(wú)法判斷
       3、某些服務(wù)器不能精確的得到文件的最后修改時(shí)間;

為此,HTTP1.1引入了Etag.但標(biāo)準(zhǔn)并沒(méi)有規(guī)定Etag的內(nèi)容是什么或者說(shuō)要怎么實(shí)現(xiàn),唯一規(guī)定的是Etag需要放在雙引號(hào)內(nèi)。Etag由服務(wù)器端生成,客戶端通過(guò)If-Match或者說(shuō)If-None-Match這個(gè)條件判斷請(qǐng)求來(lái)驗(yàn)證資源是否修改。我們常見(jiàn)的是使用If-None-Match.請(qǐng)求一個(gè)文件的流程可能如下:

第一次請(qǐng)求:


1.客戶端發(fā)起HTTP GET請(qǐng)求一個(gè)文件;
       2.服務(wù)器處理請(qǐng)求,返回文件內(nèi)容和一堆Header,當(dāng)然包括Etag(例如"1ec5-502264e2ae4c0")(假設(shè)服務(wù)器支持Etag生成和已經(jīng)開(kāi)啟了Etag).狀態(tài)碼200,如下圖所示,首次請(qǐng)求百度首頁(yè)時(shí),成功得到百度logo圖片文件bd_logo1.png,狀態(tài)碼200,大小8.1KB,返回的Header中包括ETag(“1ec5-502264e2ae4c0”)。

第二次請(qǐng)求:

1.客戶端發(fā)起HTTP GET請(qǐng)求一個(gè)文件,這個(gè)時(shí)候客戶端同時(shí)發(fā)送一個(gè)If-None-Match頭,這個(gè)頭的內(nèi)容就是我們第一次請(qǐng)求時(shí)服務(wù)器返回的Etag:1ec5-502264e2ae4c0
       2.服務(wù)器判斷發(fā)送過(guò)來(lái)的Etag和計(jì)算出來(lái)的Etag是匹配的,不返回200,返回304,讓客戶端繼續(xù)使用本地緩存。如圖所示這次對(duì)bd_logo1.png的請(qǐng)求,服務(wù)器只返回了Header沒(méi)有返回內(nèi)容,大小僅為349B。

四、站點(diǎn)啟用ETag的好處

1.對(duì)sitemap啟用ETag后,百度可以更快速地響應(yīng)sitemap的更新,沒(méi)有更改內(nèi)容的情況下,服務(wù)器只發(fā)回304應(yīng)答頭,對(duì)流量的消耗極小,在每個(gè)head平均227B大小的通常情形下,一整天二十四小時(shí)每秒都回應(yīng)的流量消耗僅為18.7M。

2.現(xiàn)在站長(zhǎng)平臺(tái)對(duì)每個(gè)站點(diǎn)的sitemap主動(dòng)抓取次數(shù)設(shè)有上限,且這項(xiàng)功能沒(méi)有對(duì)所有站開(kāi)放,如果您的站點(diǎn)sitemap啟用了ETag,并通過(guò)了測(cè)試,那么就可以用很小的流量享受百度及時(shí)更新您的sitemap的功能,以便于百度更好地收錄您網(wǎng)站的內(nèi)容。

對(duì)站點(diǎn)服務(wù)器如何配置ETag

一、Apache

Apache根據(jù)配置文件中的配置來(lái)設(shè)置Etag值,默認(rèn)的Apache的FileEtag設(shè)置為:
FileEtagINode Mtime Size
也就是根據(jù)這三個(gè)屬性來(lái)生成Etag值,他們之間通過(guò)一些算法來(lái)實(shí)現(xiàn),并輸出成hex的格式,相鄰屬性之間用-分隔,比如:"2e681a-6-5d044840",這里面的三個(gè)段,分別代表了INode,MTime,Size根據(jù)算法算出的值的Hex格式,可以改變Apache的FileEtag設(shè)置,比如設(shè)置成FileEtagSize,那么得到的Etag可能為:"6",設(shè)置了幾個(gè)段,Etag值就有幾個(gè)段。

 詳細(xì)配置:

步驟1
在要啟用ETag的目錄下增加.htaccess文件并在其中增加一行,如圖:FileETagMTime Size

以覆蓋默認(rèn)的Innode MTime Size的ETag,因?yàn)槟J(rèn)的ETag使用到的Innode會(huì)導(dǎo)致相同的文件在分布式服務(wù)器上產(chǎn)生的ETag不同。

步驟2
如果.htacces文件已經(jīng)存在,請(qǐng)確保要啟用ETag的目錄/.htacces文件中沒(méi)有FileETagNone。如果存在FileETag None,請(qǐng)刪去該行。

檢查沒(méi)有用mod_headers將ETag除去,即httpd.conf文件中沒(méi)有出現(xiàn)下面的語(yǔ)句,
LoadModuleheaders_module modules/mod_headers.so 
Headerunset ETag
如果出現(xiàn)如圖情況,請(qǐng)刪除Headerunset ETag這一行。

步驟3      重新啟動(dòng)httpd,就啟用ETag了。

二、Nginx

步驟1
       確認(rèn)Nginx版本,命令:Nginx安裝目錄/sbin/nginx–v,

版本為1.7.3及更高,繼續(xù)步驟2;版本為1.7.3以下,1.3.3及以上,進(jìn)行步驟3;版本為1.3.3以下,不支持ETag,請(qǐng)升級(jí)您的Nginx。

步驟2
       確認(rèn)沒(méi)有關(guān)閉ETag:打開(kāi)Nginx的配置文件nginx.conf(默認(rèn)位置Nginx安裝目錄/conf/),確保其中沒(méi)有出現(xiàn)etagoff;,下圖為出現(xiàn)的情況,請(qǐng)將此行刪除。

確認(rèn)沒(méi)有使用ngx_headers_more清除ETag頭:同樣在配置文件中不能出現(xiàn)如下語(yǔ)句的任意一句,如果出現(xiàn)請(qǐng)將其刪除。

重新啟動(dòng)Nginx,就啟用ETag功能了。

步驟3

查看是否開(kāi)啟了gzip,且是否和etag出現(xiàn)沖突,出現(xiàn)沖突去步驟4,沒(méi)有去步驟2。
打開(kāi)Nginx的配置文件nginx.conf(默認(rèn)位置Nginx安裝目錄/conf/),其中出現(xiàn)gzip on;語(yǔ)句證明開(kāi)啟了gzip,如圖

開(kāi)啟gzip時(shí),可能與etag出現(xiàn)沖突,用瀏覽器多次請(qǐng)求此網(wǎng)站的靜態(tài)元素,如果只返回200,不返回304,證明存在沖突,請(qǐng)去步驟4;沒(méi)有沖突去步驟2。

步驟4
        請(qǐng)關(guān)閉gzip,即將上一步中的gzipon;改為gzip off;然后去步驟2。

若不想關(guān)閉gzip,并要開(kāi)啟ETag,同時(shí)仍要堅(jiān)持使用當(dāng)前的Nginx版本,只能修改源碼并重新編譯。
下載此版本安裝包并解壓,將其目錄下/src/http/modules/ngx_http_gzip_filter_module.c
文件中約309行左右的ngx_http_clear_etag(r);一行注釋掉或刪掉。如下圖

如果沒(méi)有找到ngx_http_clear_etag(r);而是發(fā)現(xiàn)ngx_http_weak_etag(r);如下圖,證明此Nginx

沒(méi)有g(shù)zip和etag沖突的問(wèn)題,不必進(jìn)行任何修改。

重新編譯源碼安裝Nginx,解決這個(gè)沖突,然后去步驟2。

三、IIS

IIS7是默認(rèn)開(kāi)啟ETag的,如果沒(méi)有ETag,請(qǐng)按以下步驟設(shè)置。

打開(kāi)Internet Information Services (IIS) Manager,如圖雙擊HTTP響應(yīng)頭部(HTTPResponse Headers),

  選擇No Grouping標(biāo)簽,在空白處右鍵選擇Add。

 設(shè)置Name為ETag,Value為雙引號(hào)

配置web.config:-

<system.webServer>

  ...

       <httpProtocol>

           <customHeaders>

                <add name="ETag"value="&quot;&quot;" />

           </customHeaders>

       </httpProtocol>

  ...

</system.webServer>

完成。

不管怎么樣的ETag,在服務(wù)器端都要進(jìn)行計(jì)算,計(jì)算就有開(kāi)銷,會(huì)帶來(lái)性能損失。一些網(wǎng)站把Etag禁用了,這其實(shí)不符合HTTP1.1的規(guī)定,因?yàn)镠TTP/1.1總是鼓勵(lì)服務(wù)器盡可能的開(kāi)啟Etag。為了確定ETag對(duì)性能造成的具體影響。我們?cè)诜⻊?wù)器上(CPU Intel E5-2620 2.00GHz,內(nèi)存65G,Web Server使用此CPU的兩個(gè)核心)進(jìn)行壓力測(cè)試,在逐漸增加并發(fā)用戶數(shù)目的情況下,查看CPU消耗率和服務(wù)器吞吐率在有無(wú)設(shè)置ETag情況下的具體對(duì)比。

一、Apache

CPU利用率
如下圖所示,其為測(cè)試中服務(wù)器使用的平均CPU利用率,縱坐標(biāo)為百分比,橫坐標(biāo)為開(kāi)始測(cè)試的時(shí)間,其中不用ETag時(shí),平均CPU利用率為18.62805%;啟用ETag時(shí),平均CPU利用率為21.20956%。

吞吐率
如下圖所示,圖中橫坐標(biāo)為并發(fā)連接數(shù),可見(jiàn)有無(wú)啟用ETag對(duì)服務(wù)器吞吐率的影響不大。

二、Nginx

CPU利用率
如下圖所示,其為測(cè)試中服務(wù)器使用的平均CPU利用率,縱坐標(biāo)為百分比,橫坐標(biāo)為開(kāi)始測(cè)試的時(shí)間,其中不起用ETag時(shí),平均CPU利用率為8.679665%;啟用ETag時(shí),平均CPU利用率為9.776242%。

吞吐率
如下圖所示,圖中橫坐標(biāo)為并發(fā)連接數(shù),可見(jiàn)有無(wú)啟用ETag對(duì)服務(wù)器吞吐率的影響不大。

三、結(jié)論

從實(shí)際實(shí)驗(yàn)可以看出有無(wú)設(shè)置ETAg對(duì)服務(wù)器在高并發(fā)下的吞吐率幾乎無(wú)影響,設(shè)置ETag后的負(fù)面影響主要為增加了CPU負(fù)載1%~3%。

    相關(guān)評(píng)論

    閱讀本文后您有什么感想? 已有人給出評(píng)價(jià)!

    • 8 喜歡喜歡
    • 3 頂
    • 1 難過(guò)難過(guò)
    • 5 囧
    • 3 圍觀圍觀
    • 2 無(wú)聊無(wú)聊

    熱門評(píng)論

    最新評(píng)論

    發(fā)表評(píng)論 查看所有評(píng)論(0)

    昵稱:
    表情: 高興 可 汗 我不要 害羞 好 下下下 送花 屎 親親
    字?jǐn)?shù): 0/500 (您的評(píng)論需要經(jīng)過(guò)審核才能顯示)