蜘蛛爬行死循环如何解决?

2020-07-24468
SEO前进道路上,会碰到很多问题,例如:蜘蛛爬行死循环如何解决?,虽然是一个问题,但是牵涉到了包含:网站、链接、内容、404seohttps蜘蛛(爬虫)等众多因素,下面小编在搜外网上为大家找到了7条关于蜘蛛爬行死循环如何解决?的解决方案。

蜘蛛爬行死循环如何解决?问题及描述

我的网站,蜘蛛一直都在抓取筛选器哪里的链接,5千条爬行记录有4800是在爬那个筛选器的链接,有效内容页几乎不爬。把那个筛选器里面的链接全NF掉貌似也没什么作用。该如何解决呢?



蜘蛛爬行死循环如何解决?参考意见

一、一般通过屏蔽蜘蛛改善收录有几种靠谱的方法
nofollow + robots.txt
② js封装
③ 页面缓存(Last-modified + Etag)
④ 调整链接入口(数量 + 位置)

基于你网站的情况,个人认为最适合第四种方法。

至于具体原因,“国际会展”频道内容总数497,各种筛选条件组合后数量轻松上万。也就是说内容总数不多,但筛选条件却不少,以目前的内容数量还不足以支撑这么多的筛选条件,结果是导致绝大多数的筛选结果页都是空的。你可以看下一礼拜内抓取的筛选结果页其中没有内容的能占多大比例,估计不少。。。

所以说你这问题原因不是蜘蛛不抓,而是没得抓。什么nofollow、js之类的自然没用,因为原因没找对嘛。。。

改善抓取的个人建议:
1.调整筛选条件的展现规则,只允许有内容的筛选条件才能展现在前端中
2.增加筛选结果页中内容详情页的调用数量(增加详情页抓取概率,本身数量就不多的,就甭弄啥分页了)
3.充实详情页内容(信息量少、无更新、没给同类相关页面提供链接,所以蜘蛛不会定期重访)
4.筛选结果页TDK修改(上万的筛选页TDK都是一样的。。。。)

二、如果筛选器没有什么实质性的内容,那就屏蔽蜘蛛吧(robots.txt )

NF只是不传递权重,蜘蛛会照样爬行链接。

三、筛选器 最好用js 你看看那些大站怎么做的

四、楼上正解,筛选器用ajax实现吧,否则就算不死循环爬寻也会制造出若干相似页面。

五、筛选器的你可以在空页面随机调列表

六、屏蔽相关的链接可以尝试下。
例如nofollow 标签添加到你不想蜘蛛爬行的链接。
robots.txt 也可以添加,禁止相关的抓取。

七、谢邀,我的建议是你可以通过筛选器的链接给其他页面更多的导入,方便蜘蛛爬行。

蜘蛛爬行死循环如何解决?,看到这里,您是否还有疑问?SEO的全称是搜索引擎优化,也就是说,优化的好坏还要看搜索引擎是否认同。搜索引擎的算法是在不断的变换的,你的网站优化的策略也是要根据搜索引擎算法的改变而进行改变的。欢迎点击以下栏目继续熟悉关于:网站、链接、内容、404、seo、https、蜘蛛(爬虫)巩固基础的理论知识,不断挑战SEO的新高度。

相关文章

如何才能从众多有趣短视频网站中脱颖而出呢?

如何才能从众多有趣短视频网站中脱颖而出呢?

SEO是一个很重复的过程,有时候明明自己并没有作弊,也没有做其它的什么,排名就这样无端端的往下掉,一个问题连着一个问题的,例如:如何才能从众多有趣短视频网站中脱颖而出呢?,虽然是一个问题,但是牵涉到了...

企业站如何优化关建词,现在很简单的都做不上去了

企业站如何优化关建词,现在很简单的都做不上去了

SEO前进道路上,会碰到很多问题,例如:企业站如何优化关建词,现在很简单的都做不上去了,虽然是一个问题,但是牵涉到了包含:优化、方法、思路、步骤、企业站、企业站优化等众多因素,下面小编在seowhy问...

为何带3w的域名被k,不带3W的域名没被K?

为何带3w的域名被k,不带3W的域名没被K?

随着搜索引擎技术的发展,特别是基于大数据时代的来临,搜索平台更加智能化和平台化,当然也会在工作中让我们遇到之前没遇到的问题,例如:为何带3w的域名被k,不带3W的域名没被K?,虽然是一个问题,但是牵涉...

收到这样的百度异常消息怎么办?

收到这样的百度异常消息怎么办?

这个行业是一个很容易充满偏见的行业。就是遇到很多不可预期的问题造成的,例如:收到这样的百度异常消息怎么办?,虽然是一个问题,但是牵涉到了包含:被黑、黑链、降权、排名、收录、搜索、索引、网站、站长、技术...

网站最初没有调取产品分类,现在首页改为调取具体(十几个)分类,算改版吗?

网站最初没有调取产品分类,现在首页改为调取具体(十几个)分类,算改版吗?

SEO是一个很重复的过程,有时候明明自己并没有作弊,也没有做其它的什么,排名就这样无端端的往下掉,一个问题连着一个问题的,例如:网站最初没有调取产品分类,现在首页改为调取具体(十几个)分类,算改版吗?...

前十名都是行业权威,怎么破?

前十名都是行业权威,怎么破?

一个行业只要是向着好的方向发展,势必会越来越专业,行业壁垒越来越高,这就使我们遇到的问题也越来越多,例如:前十名都是行业权威,怎么破?,虽然是一个问题,但是牵涉到了包含:行业、关键词研究等众多因素,下...

是不是网页标题设置不合理 会被百度认为作弊

是不是网页标题设置不合理 会被百度认为作弊

做过SEO优化的站长都知道,每日的工作都会碰到一些繁琐的事情搜索引擎还推出各种算法来加以阻碍,对我们造成一些难题,例如:是不是网页标题设置不合理 会被百度认为作弊,虽然是一个问题,但是牵涉到了包含:降...

外链大量减少有遇到过的吗

外链大量减少有遇到过的吗

一个行业只要是向着好的方向发展,势必会越来越专业,行业壁垒越来越高,这就使我们遇到的问题也越来越多,例如:外链大量减少有遇到过的吗,虽然是一个问题,但是牵涉到了包含:排名、外链、网站、百度、domai...

对于动态链接该怎么处理?

对于动态链接该怎么处理?

做SEO的时候是少不了分析的,比如:关键词、权重、外链、排名等,也会遇到一些问题,例如:对于动态链接该怎么处理?,虽然是一个问题,但是牵涉到了包含:标签、收录、网站、技术、平台、链接、动态、a5、am...

大家有没有遇到这种情况:关键词竞争不大,网站优化步骤不违规,排名就是维持在25-35名之间,N月不见动

大家有没有遇到这种情况:关键词竞争不大,网站优化步骤不违规,排名就是维持在25-35名之间,N月不见动

相信不少SEOER对SEO的发展方向或多或少都产生过迷茫,而搜索引擎的每一次改变,每一次调整,都会对竞价和SEO的工作产生巨大的影响,遇到很多问题,例如:大家有没有遇到这种情况:关键词竞争不大,网站优...

发表评论    

蜘蛛爬行死循环如何解决?◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。