百度站長平臺ETag的作用 對站點服務(wù)器如何配置ETag

.NETv3.0 可再發(fā)行組件包

• 類型：編程輔助大�。�2.7M語言：中文 評分：1.8
• 標簽：

立即下載

一、ETag簡介

ETag(EntityTags)是URL的tag，用來標示URL對象是否改變，這樣可利用客戶端（例如瀏覽器）的緩存。由服務(wù)器首先產(chǎn)生ETag，客戶端通過將該記號傳回服務(wù)器要求服務(wù)器驗證其（客戶端）緩存。服務(wù)器使用它來判斷頁面是否已經(jīng)被修改，如果未修改返回304，而不必重新傳輸整個對象。

二、現(xiàn)在站點sitemap存在的問題

1.發(fā)現(xiàn)更新不及時
       當站點或其sitemap發(fā)生更新時，百度難以及時發(fā)現(xiàn)并響應(yīng)，因為百度難以無時無刻地持續(xù)檢查站點內(nèi)容和sitemap是否更新。

2.全量抓取，消耗帶寬
       現(xiàn)在百度對站點sitemap的抓取會將sitemap文件完整下載下來，鑒于sitemap文件一般較大，而這種下載可能存在多次，故比較消耗網(wǎng)站的流量和帶寬。

三、ETag作用

HTTP1.1用Etag來判斷請求的文件是否被修改，主要為了解決Last-Modified無法解決的一些問題

1、一些文件也許會周期性的更改，但是他的內(nèi)容并不改變(僅僅改變的修改時間)，這個時候并不希望客戶端認為這個文件被修改了重新GET;
       2、某些文件修改非常頻繁， 1秒內(nèi)修改了N次，If-Modified-Since能檢查到的粒度是秒級的，這種修改無法判斷
       3、某些服務(wù)器不能精確的得到文件的最后修改時間；

為此，HTTP1.1引入了Etag.但標準并沒有規(guī)定Etag的內(nèi)容是什么或者說要怎么實現(xiàn)，唯一規(guī)定的是Etag需要放在雙引號內(nèi)。Etag由服務(wù)器端生成，客戶端通過If-Match或者說If-None-Match這個條件判斷請求來驗證資源是否修改。我們常見的是使用If-None-Match.請求一個文件的流程可能如下：

第一次請求：

1.客戶端發(fā)起HTTP GET請求一個文件；
       2.服務(wù)器處理請求，返回文件內(nèi)容和一堆Header，當然包括Etag(例如"1ec5-502264e2ae4c0")(假設(shè)服務(wù)器支持Etag生成和已經(jīng)開啟了Etag).狀態(tài)碼200，如下圖所示，首次請求百度首頁時，成功得到百度logo圖片文件bd_logo1.png，狀態(tài)碼200，大小8.1KB，返回的Header中包括ETag（“1ec5-502264e2ae4c0”）。

第二次請求：

1.客戶端發(fā)起HTTP GET請求一個文件，這個時候客戶端同時發(fā)送一個If-None-Match頭，這個頭的內(nèi)容就是我們第一次請求時服務(wù)器返回的Etag：1ec5-502264e2ae4c0
       2.服務(wù)器判斷發(fā)送過來的Etag和計算出來的Etag是匹配的，不返回200，返回304，讓客戶端繼續(xù)使用本地緩存。如圖所示這次對bd_logo1.png的請求，服務(wù)器只返回了Header沒有返回內(nèi)容，大小僅為349B。

四、站點啟用ETag的好處

1.對sitemap啟用ETag后，百度可以更快速地響應(yīng)sitemap的更新，沒有更改內(nèi)容的情況下，服務(wù)器只發(fā)回304應(yīng)答頭，對流量的消耗極小，在每個head平均227B大小的通常情形下，一整天二十四小時每秒都回應(yīng)的流量消耗僅為18.7M。

2.現(xiàn)在站長平臺對每個站點的sitemap主動抓取次數(shù)設(shè)有上限，且這項功能沒有對所有站開放，如果您的站點sitemap啟用了ETag，并通過了測試，那么就可以用很小的流量享受百度及時更新您的sitemap的功能，以便于百度更好地收錄您網(wǎng)站的內(nèi)容。

對站點服務(wù)器如何配置ETag

一、Apache

Apache根據(jù)配置文件中的配置來設(shè)置Etag值，默認的Apache的FileEtag設(shè)置為：
FileEtagINode Mtime Size
也就是根據(jù)這三個屬性來生成Etag值，他們之間通過一些算法來實現(xiàn)，并輸出成hex的格式，相鄰屬性之間用-分隔，比如："2e681a-6-5d044840"，這里面的三個段，分別代表了INode，MTime，Size根據(jù)算法算出的值的Hex格式，可以改變Apache的FileEtag設(shè)置，比如設(shè)置成FileEtagSize,那么得到的Etag可能為："6"，設(shè)置了幾個段，Etag值就有幾個段。

 詳細配置：

步驟1
在要啟用ETag的目錄下增加.htaccess文件并在其中增加一行，如圖：FileETagMTime Size

以覆蓋默認的Innode MTime Size的ETag，因為默認的ETag使用到的Innode會導(dǎo)致相同的文件在分布式服務(wù)器上產(chǎn)生的ETag不同。

步驟2
如果.htacces文件已經(jīng)存在，請確保要啟用ETag的目錄/.htacces文件中沒有FileETagNone。如果存在FileETag None，請刪去該行。

檢查沒有用mod_headers將ETag除去，即httpd.conf文件中沒有出現(xiàn)下面的語句，
LoadModuleheaders_module modules/mod_headers.so 
Headerunset ETag
如果出現(xiàn)如圖情況，請刪除Headerunset ETag這一行。

步驟3      重新啟動httpd，就啟用ETag了。

二、Nginx

步驟1
       確認Nginx版本，命令：Nginx安裝目錄/sbin/nginx–v，

版本為1.7.3及更高，繼續(xù)步驟2；版本為1.7.3以下，1.3.3及以上，進行步驟3；版本為1.3.3以下，不支持ETag，請升級您的Nginx。

步驟2
       確認沒有關(guān)閉ETag：打開Nginx的配置文件nginx.conf(默認位置Nginx安裝目錄/conf/)，確保其中沒有出現(xiàn)etagoff;，下圖為出現(xiàn)的情況，請將此行刪除。

確認沒有使用ngx_headers_more清除ETag頭：同樣在配置文件中不能出現(xiàn)如下語句的任意一句，如果出現(xiàn)請將其刪除。

重新啟動Nginx，就啟用ETag功能了。

步驟3

查看是否開啟了gzip，且是否和etag出現(xiàn)沖突，出現(xiàn)沖突去步驟4，沒有去步驟2。
打開Nginx的配置文件nginx.conf(默認位置Nginx安裝目錄/conf/)，其中出現(xiàn)gzip on；語句證明開啟了gzip，如圖

開啟gzip時，可能與etag出現(xiàn)沖突，用瀏覽器多次請求此網(wǎng)站的靜態(tài)元素，如果只返回200，不返回304，證明存在沖突，請去步驟4；沒有沖突去步驟2。

步驟4
        請關(guān)閉gzip，即將上一步中的gzipon;改為gzip off；然后去步驟2。

若不想關(guān)閉gzip，并要開啟ETag，同時仍要堅持使用當前的Nginx版本，只能修改源碼并重新編譯。
下載此版本安裝包并解壓，將其目錄下/src/http/modules/ngx_http_gzip_filter_module.c
文件中約309行左右的ngx_http_clear_etag(r);一行注釋掉或刪掉。如下圖

如果沒有找到ngx_http_clear_etag(r);而是發(fā)現(xiàn)ngx_http_weak_etag(r);如下圖，證明此Nginx

沒有g(shù)zip和etag沖突的問題，不必進行任何修改。

重新編譯源碼安裝Nginx，解決這個沖突，然后去步驟2。

三、IIS

IIS7是默認開啟ETag的，如果沒有ETag，請按以下步驟設(shè)置。

打開Internet Information Services (IIS) Manager，如圖雙擊HTTP響應(yīng)頭部(HTTPResponse Headers),

  選擇No Grouping標簽，在空白處右鍵選擇Add。

 設(shè)置Name為ETag，Value為雙引號

配置web.config:-

<system.webServer>

  ...

       <httpProtocol>

           <customHeaders>

                <add name="ETag"value="&quot;&quot;" />

           </customHeaders>

       </httpProtocol>

  ...

</system.webServer>

完成。

不管怎么樣的ETag，在服務(wù)器端都要進行計算，計算就有開銷，會帶來性能損失。一些網(wǎng)站把Etag禁用了，這其實不符合HTTP1.1的規(guī)定，因為HTTP/1.1總是鼓勵服務(wù)器盡可能的開啟Etag。為了確定ETag對性能造成的具體影響。我們在服務(wù)器上(CPU Intel E5-2620 2.00GHz，內(nèi)存65G，Web Server使用此CPU的兩個核心)進行壓力測試，在逐漸增加并發(fā)用戶數(shù)目的情況下，查看CPU消耗率和服務(wù)器吞吐率在有無設(shè)置ETag情況下的具體對比。