日韩亚洲欧美色欲在线_精品无码aⅴ人妻受辱系列_大陆国语一级毛片_亚洲国产日韩不卡综合

因國(guó)內(nèi)大部分虛擬主機(jī)限制了每月的流量，在通過(guò)空間商提供的控制面板查看訪問(wèn)流量時(shí)發(fā)現(xiàn)非瀏覽器瀏覽占去大量的流量，通過(guò)查看：
搜索引擎網(wǎng)站的機(jī)器人發(fā)現(xiàn)大量流量是被Unknown robot (identified by ‘spider’)、Unknown robot (identified by 'robot')消耗掉，除了百度，GOOGLE等常見(jiàn)搜索引擎蜘蛛外，有些不知名搜索引擎蜘蛛違規(guī)胡亂爬行我們的網(wǎng)站，造成流量被大量消耗和占用CPU資源，導(dǎo)致網(wǎng)站訪問(wèn)速度變慢，超出流量還需要單獨(dú)再付費(fèi)購(gòu)買流量，給客戶造成經(jīng)濟(jì)負(fù)擔(dān)。那么我們需要做一些設(shè)置將其屏蔽。為客戶快速解決這個(gè)問(wèn)題。 
robots.txt爬蟲(chóng)協(xié)議 對(duì)正規(guī)的搜索引擎會(huì)有效，但對(duì)一些不知名的搜索引擎可能會(huì)無(wú)效，現(xiàn)在GOOGLE被國(guó)內(nèi)封鎖，如果你的用戶是國(guó)內(nèi)客戶，可以將GOOGLE搜索引擎一起屏蔽掉。 以下代碼為：
禁止除百度、360外的一切搜索引擎索引你的網(wǎng)站
User-agent: Baiduspider
User-agent: 360spider
Disallow: User-agent: *
Disallow: /
 在網(wǎng)站根目錄下創(chuàng)建名為robots.txt的記事本文件，把以上代碼的紅色部份放到robots.txt內(nèi)即可。
User-agent為充許某個(gè)搜索引擎索引你的網(wǎng)站。如要增加搜狗:Sogou web spider、有道:YoudaoBot等，增加User-agent即可。

如果對(duì)代碼不熟悉，可以通過(guò)在線生成工具操作生成。http://tool.chinaz.com/robots/