作者:導航鴨
一、wordpress 禁止PC首頁訪問 不影響蜘蛛抓取的方法
360: Mozilla/5.0 (compatible; 360Spider/1.0; +http://www.360.cn/spider.html) Sogou: Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07) Shenma: Mozilla/5.0 (compatible; ShenmaBot/1.0; http://www.shenma.com) Yisou: Mozilla/5.0 (compatible; YisouSpider; +http://www.yisou.com/help/webmaster/spider.html) Easou: EasouSpider; +http://www.easou.com/search/spider.html 國外搜索引擎蜘蛛:Google: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) Bing: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Yahoo: Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp) Yandex: Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots) Baidu: Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) DuckDuckBot: DuckDuckBot/1.0; (+http://duckduckgo.com/duckduckbot.html) 需要注意的是,蜘蛛的 User-Agent 可能會隨著搜索引擎的升級和更新而變化,因此這里列舉的 User-Agent 只是一些常見的,不一定是最新的。 |