客户:为什么其他家蜘蛛池平台过来的蜘蛛量那么多,并且刚提交不到一分钟就来,统计软件显示一天上万条,但是就是不收录呢?
技术:请查看web日志,发一条百度的过来
客户:
220.181.108.102 - - [11/Jul/2023:05:35:59 +0800] "GET /pingtaidongtai/9.html HTTP/1.1" 200 2109 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"
技术:看前面的IP地址和UA确实是百度的,你按我说的改变下web日志显示格式,------------
客户:
220.181.108.102 - - [11/Jul/2023:05:35:59 +0800] "GET /pingtaidongtai/9.html HTTP/1.1" 200 2109 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" "221.228.73.28"
技术:后边的IP暴露了,这是软件刷的假蜘蛛
客户:这是怎么做的呢?
技术:
以上仅为参考,具体情况请具体应对,更多可以百度搜索“伪造IP访问”
可以查看https://help.aliyun.com/document_detail/42205.html这篇文章,防范方法也在这里
宝塔Nginx设置方法 https://blog.51cto.com/u_12390904/6253880