如何使用nslookup验证ip判断搜索引擎蜘蛛是否是伪造的百度搜索蜘蛛
如何使用nslookup验证ip判断搜索引擎蜘蛛是否是伪造的百度蜘蛛
之前被网络垃圾蜘蛛采集了,某个ip每次都是全站跑完(一般百度不会一次跑全站),服务器原本就是配置比较低的,这样一搞网站被抓取期间整体就卡了,看了下User-Agent有百度蜘蛛的信息(User-Agent被伪造成百度的了),用nslookup 命令查了下果然是伪造的
以百度蜘蛛验证: 这个113.116.198.5就是跑了一次全站, 下面是查询结果就说明不是百度的蜘蛛
也不能一杆子打死有些真的百度蜘蛛 可能结果也有偏差 比如新增的蜘蛛
以下这个就是验证确认是百度的蜘蛛
nslookup 命令格式
nslookup 113.116.198.5
0.0 测试例子的时候 tm又发现一个垃圾蜘蛛。。。。无语了
附带上一个c# 调用的nslookup的例子
string cmdoutput;
using (Process pc = new Process())
{
string commandstr = $"nslookup { param.ToString()} &exit";
pc.StartInfo.FileName = "cmd.exe";
pc.StartInfo.CreateNoWindow = true;//隐藏窗口运行
pc.StartInfo.RedirectStandardError = true;//重定向错误流
pc.StartInfo.RedirectStandardInput = true;//重定向输入流
pc.StartInfo.RedirectStandardOutput = true;//重定向输出流
pc.StartInfo.UseShellExecute = false;
pc.Start();
pc.StandardInput.WriteLine(commandstr);//输入CMD命令
pc.StandardInput.AutoFlush = true;
cmdoutput = pc.StandardOutput.ReadToEnd();//读取结果
pc.WaitForExit();
pc.Close();
}