有沒(méi)有想過(guò)，如果我們某個(gè)站點(diǎn)不讓百度和google收錄，那怎么辦?

　　搜索引擎已經(jīng)和我們達(dá)成一個(gè)約定，如果我們按約定那樣做了，它們就不要收錄。

　　這個(gè)寫(xiě)約定的的文件命名為:robots.txt。

　　robots.txt是一個(gè)最簡(jiǎn)單的.txt文件，用以告訴搜索引擎哪些網(wǎng)頁(yè)可以收錄，哪些不允許收錄。

　　關(guān)于robots.txt一般站長(zhǎng)需要注意以下幾點(diǎn)：

　　如果你的站點(diǎn)對(duì)所有搜索引擎公開(kāi)，則不用做這個(gè)文件或者robots.txt為空就行。

　　必須命名為：robots.txt，都是小寫(xiě)，robot后面加"s"。

　　robots.txt必須放置在一個(gè)站點(diǎn)的根目錄下。如：通過(guò)http://procomes.org/robots.txt 可以成功訪問(wèn)到，則說(shuō)明本站的放置正確。

　　一般情況下，robots.txt里只寫(xiě)著兩個(gè)函數(shù)：User-agent和 Disallow。

　　觀察這個(gè)頁(yè)面并修改為自己的：http://procomes.org/robots.txt

　　有幾個(gè)禁止，就得有幾個(gè)Disallow函數(shù)，并分行描述。

　　至少要有一個(gè)Disallow函數(shù)，如果都允許收錄，則寫(xiě): Disallow: ，如果都不允許收錄，則寫(xiě):Disallow: / (注：只是差一個(gè)斜桿)。

　　補(bǔ)充說(shuō)明：

　　User-agent: * 星號(hào)說(shuō)明允許所有搜索引擎收錄

　　Disallow: /search.html 說(shuō)明 http://procomes.org/search.html 這個(gè)頁(yè)面禁止搜索引擎抓取。

　　Disallow: /index.php? 說(shuō)明類似這樣的頁(yè)面http://procomes.org/index.php?search=%E5%A5%BD&action=search&searchcategory=%25 禁止搜索引擎抓取。