如果robots文件禁止不了蜘蛛爬行,有其他的办法吗,

2020-10-03394
互联网上的东西几乎是以每秒为单位在变化,说不定今天还是这样的明天就换了,有些会对于我们在工作中造成一定的困惑,例如:如果robots文件禁止不了蜘蛛爬行,有其他的办法吗,,虽然是一个问题,但是牵涉到了包含:网站、seorobots、robots文件、robots协议网站地图(Sitemap)案例分析等众多因素,下面小编在seowhy问答上为大家找到了3条关于如果robots文件禁止不了蜘蛛爬行,有其他的办法吗,的解决方案。

如果robots文件禁止不了蜘蛛爬行,有其他的办法吗,问题及描述

如果robots文件禁止不了蜘蛛爬行,有其他的办法吗,访问太频繁,一直导致502.

网站的一个bbs调用模块,想禁止两个蜘蛛访问它,robots协议写法如下:

User-agent:SEOkicks-Robot
Disallow: /
User-agent: archive.org_bot
Disallow: /

放到bbs下面的robots文件里了。

但是还可以看到他们经常来,有什么办法禁止吗?

如果这样写,该放到网站的robots文件里还是bbs下面的robots文件里?

user-agent:*
Disallow:/bbs/

如果robots文件禁止不了蜘蛛爬行,有其他的办法吗,参考意见

一、robots各大搜索引擎都明确规定要遵守的,虽然360以用户内容为公开协议赢了官司,但是个人或者公司内容,任然有私隐权,robots还是要遵守的。

可能是搜索引擎的缓存行为导致你把bbs/放到robots任然还在抓取,给点时间搜索引擎做更新调整吧!

robots如果一直不行,可以试试【noindex和nofollow】结合使用在网站中,对应bbs/这个URL的标签处。可以禁止站内对于bbs/ 这个文件夹的索引和传递。但是如果站外任然有链接入口指向bbs/。那很有可能还是无法做到全面屏蔽。

总得来说,如果robots无法做到屏蔽索引,就几乎没有任何办法了!

二、直接在robots.txt 里面设置就可以

三、直接封它ip- -

如果robots文件禁止不了蜘蛛爬行,有其他的办法吗,,看到这里,您是否还有疑问?如果已经掌握一定SEO技能,可以举一反三,网站为什么要这么样优化,其本质是什么?很多时候,抓住了本质,即使你不继续在这一行做下去,能做的事情也很多。欢迎点击以下栏目继续熟悉关于:网站、seo、robots、robots文件、robots协议、网站地图Sitemap)、案例分析巩固基础理论知识,不断挑战SEO的新高度。

相关文章

百度的这个活动,奖品会给谁呢?

百度的这个活动,奖品会给谁呢?

当你能熟练的运用这些能够让你在SEO优化的道路上走的更远,例如:百度的这个活动,奖品会给谁呢?,虽然是一个问题,但是牵涉到了包含:排名、网站、站长、测试、系统、运营、移动、流程、报告、ip、百度、一个...

8.22日百度近期最大的一次更新更新比例80.61%,你受影响了吗?

8.22日百度近期最大的一次更新更新比例80.61%,你受影响了吗?

网站SEO优化,我们会分析用户搜索的关键词、访问页面、用户停留时间、网站的跳出率等方面,总会遇到很多问题,例如:8.22日百度近期最大的一次更新更新比例80.61%,你受影响了吗?,虽然是一个问题,但...

请问下这个首都人才网是怎么弄出来的?

请问下这个首都人才网是怎么弄出来的?

互联网上的东西几乎是以每秒为单位在变化,说不定今天还是这样的明天就换了,有些会对于我们在工作中造成一定的困惑,例如:请问下这个首都人才网是怎么弄出来的?,虽然是一个问题,但是牵涉到了包含:seo、ht...

谷歌中收录结果TLTLE与实际TITLE不一样是什么情况呢。

谷歌中收录结果TLTLE与实际TITLE不一样是什么情况呢。

实施SEO是一个重要的网络营销工具,但SEO的改进并没有产生预期的结果,会对我们造成很多困惑,例如:谷歌中收录结果TLTLE与实际TITLE不一样是什么情况呢。,虽然是一个问题,但是牵涉到了包含:收录...

感觉ask版面刺激眼睛.

感觉ask版面刺激眼睛.

因为网站优化到最后还是给用户看的,哪怕排名再高,用户不满意网站也是白搭。最终目的做到实而不华,适当的地方、时机将客户引导到最终的成交页面,才是最关键的。例如:感觉ask版面刺激眼睛.,虽然是一个问题,...

网站刚刚收录,排名权重都有了,文章没收录

网站刚刚收录,排名权重都有了,文章没收录

每一次算法的更新,都会对SEO行业发生影响,也会对于我们造成不同的问题,例如:网站刚刚收录,排名权重都有了,文章没收录,虽然是一个问题,但是牵涉到了包含:关键词、代码、快照、每天、排名、权重、收录、索...

抖音我爱你不

抖音我爱你不

抖音我爱你不,抖音我爱你我爱你我爱你可我不爱你,下面小编从以下几点详细介绍一下抖音我爱你不: 一、抖音里面有个男声开头很深情说我爱你 1般配的失恋的视频 歌名 我爱你anesthesia 二、抖音...

企业站新闻页面不收录

企业站新闻页面不收录

一个行业只要是向着好的方向发展,势必会越来越专业,行业壁垒越来越高,这就使我们遇到的问题也越来越多,例如:企业站新闻页面不收录,虽然是一个问题,但是牵涉到了包含:收录、网站、页面、产品、公司、企业站、...

搜索结果标题下方左侧的日期代表什么?

搜索结果标题下方左侧的日期代表什么?

SEO是一个很重复的过程,有时候明明自己并没有作弊,也没有做其它的什么,排名就这样无端端的往下掉,一个问题连着一个问题的,例如:搜索结果标题下方左侧的日期代表什么?,虽然是一个问题,但是牵涉到了包含:...

有关sitemap的几个小问题

有关sitemap的几个小问题

网站每天更新文章,发外链,目的就是使网站在百度等搜索引擎上有好的排名。但是还有很多未知的问题,例如:有关sitemap的几个小问题,虽然是一个问题,但是牵涉到了包含:频率、页面、网页、二级页面、页面设...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。