蜘蛛疯狂抓取 jquery-1.3.2.min.js 文件是怎么回事？
2020-12-12417
网站每天更新文章，发外链，目的就是使网站在百度等搜索引擎上有好的排名。但是还有很多未知的问题，例如：蜘蛛疯狂抓取 jquery-1.3.2.min.js 文件是怎么回事？,虽然是一个问题，但是牵涉到了包含：bc、排名、js、seo、iis、https、探讨互联网等众多因素，下面小编在seowhy问答上为大家找到了4条关于蜘蛛疯狂抓取 jquery-1.3.2.min.js 文件是怎么回事？的解决方案。
蜘蛛疯狂抓取 jquery-1.3.2.min.js 文件是怎么回事？问题及描述
最近发现一个老站排名全部掉了，就去观察了IIS日志
蜘蛛疯狂抓取 jquery-1.3.2.min.js 文件是怎么回事？参考意见
一、爬虫确实抓取禁掉的css和js,
我猜想是不是百度通过css和js来判断是不是作弊,判断你的页面是不是有弹窗,有针对普通浏览器用户的内容.有针对百度的内容.
二、这种情况之前也遇到过。ROBOTS里单独写个规则禁止下
三、这种情况应该一般是蜘蛛吃药了，
之前的A站点被惩罚后连续观察了俩个月的日志不单单在抓取 文件 还有其他的JS文件，正常的文章，却一带而过；
B站点被惩罚后，不单单抓取被robots禁止的JS文件同时还抓取，很早之前就删除的目录；
难道这就是传说中的沙盒蜘蛛又名傻猪。
四、我也发现 百度蜘蛛开始爬明明禁止掉的css和js
