如何使用nslookup验证ip判断搜索引擎蜘蛛是否是伪造的百度蜘蛛

百度站长
82
百度搜索
seo
nslookup
搜索引擎

如何使用nslookup验证ip判断百度搜索引擎蜘蛛是否是伪造的百度蜘蛛

之前被网络垃圾蜘蛛采集了,某个ip每次都是全站跑完(一般百度不会一次跑全站),服务器原本就是配置比较低的,这样一搞网站被抓取期间整体就卡了,看了下User-Agent有百度蜘蛛的信息(User-Agent被伪造成百度的了),用nslookup 命令查了下果然是伪造的

以百度蜘蛛验证: 这个113.116.198.5就是跑了一次全站, 下面是查询结果就说明不是百度的蜘蛛

如何使用nslookup验证ip判断搜索引擎蜘蛛是否是伪造的百度蜘蛛

也不能一杆子打死有些真的百度蜘蛛 可能结果也有偏差 比如新增的蜘蛛

以下这个就是验证确认是百度的蜘蛛

如何使用nslookup验证ip判断搜索引擎蜘蛛是否是伪造的百度蜘蛛

nslookup 命令格式

nslookup 113.116.198.5

0.0 测试例子的时候 tm又发现一个垃圾蜘蛛。。。。无语了

附带上一个c# 调用的nslookup的例子

               string cmdoutput;
                using (Process pc = new Process())
                {
                    string commandstr = $"nslookup { param.ToString()} &exit";

                    pc.StartInfo.FileName = "cmd.exe";
                    pc.StartInfo.CreateNoWindow = true;//隐藏窗口运行
                    pc.StartInfo.RedirectStandardError = true;//重定向错误流
                    pc.StartInfo.RedirectStandardInput = true;//重定向输入流
                    pc.StartInfo.RedirectStandardOutput = true;//重定向输出流
                    pc.StartInfo.UseShellExecute = false;
                    pc.Start();
                    pc.StandardInput.WriteLine(commandstr);//输入CMD命令
                    pc.StandardInput.AutoFlush = true;

                    cmdoutput = pc.StandardOutput.ReadToEnd();//读取结果        

                    pc.WaitForExit();
                    pc.Close();
                }
Applebot:今天才知道苹果也有自己的网络爬虫,如何屏蔽苹果的网络爬虫
[分享一下]网站两年多被拉黑不被bing搜索引擎收录的尝试到重新收录
到底什么是SEO?需到底要做什么?越做越糊涂
百度站长平台抓取诊断工具提交抓取到的页面GB2312中文乱码问题
关于怎么让一篇文章百度搜索引擎收录后搜索结果展示自己指定的图片封面
今天网站被OpenAI网络爬虫高频率抓取,纠结要不要屏蔽OpenAI爬虫
百度统计里面发现被刷了好多乱七八糟的SEO垃圾搜索词广告怎么办
【博客沉浮】不知道是不是被百度K站了,又是悲伤的一天
一款用于windows服务器环境下iis网站日志蜘蛛分析小工具
暂无相关内容...
免责声明 部分转载分享内容若侵犯您的权益,还请 邮件联系 侵删