IIS日志里常见的搜索引擎蜘蛛UserAgent 汇总对照

最近开发网站日志分析软件搜集了一些搜索引擎蜘蛛的UserAgent，可以用来分析访客是否是常见的搜索的蜘蛛爬行，搜集的记录放在下面了需要的自取

当然UserAgent这个信息是可以伪造 ，可以借助nslookup命令对访客蜘蛛ip进行验证以此来判断真伪

站长开发自用的 # IIS日志分析小工具下载

微软MSN msnbot，大多数已经被bingbot替代了，现在偶尔还可以看到。

“msnbot-media/1.1 (+http://search.msn.com/msnbot.htm)”

bing，必应 网站更新需谨慎 本站被k好几年依然没有恢复收录的迹象

“Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)”

腾讯搜搜

“Sosospider+(+http://help.soso.com/webspider.htm)”

搜搜图片

“Sosoimagespider+(+http://help.soso.com/soso-image-spider.htm)”

雅虎(雅虎英文)

“Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)”

“Yahoo! Slurp China”

“Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)”

搜狗(不知道该怎么说 总的说收录不容易)

“Sogou Pic Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07)”

“Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)”

Google

“Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)” Google

百度

“Baiduspider-image+(+http://www.baidu.com/search/spider.htm)”

“Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)”

“Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.2.8;baidu Transcoder) Gecko/20100722 Firefox/3.6.8 ( .NET CLR 3.5.30729)”
baidu+Transcoder 是用户用手机浏览网站留下的记录，Transcoder 是代码转换器，应该是指手机端落地页

360搜索

Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0); 360Spider

字节跳动

Mozilla/5.0 (compatible; Bytespider;[https://zhanzhang.toutiao.com/] AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.0.0 Safari/537.36
Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; [https://zhanzhang.toutiao.com/]
Mozilla/5.0 (iPhone; CPU iPhone OS 7_1_2 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko) Version/7.0 Mobile Safari/537.36 (compatible; Bytespider; [https://zhanzhang.toutiao.com/]

网易有道

“Mozilla/5.0 (compatible; YoudaoBot/1.0; http://www.youdao.com/help/webmaster/spider/; )”

宜搜,以前用塞班手机接触过的一个搜索引擎 现今基本可以忽略不计

Mozilla/5.0 (compatible; EasouSpider; +http://www.easou.com/search/spider.html)

华为赛门铁克蜘蛛

“HuaweiSymantecSpider/1.0+DSE-support@huaweisymantec.com+(compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR ; http://www.huaweisymantec.com/cn/IRL/spider)”

360网站安全检测

360spider(http://webscan.360.cn)