当前位置:首页 > bc / 收录 / 搜索 / 索引 / 网站 / 页面 / 产品 / 内容 / 搜索引擎 / html / robots / > 正文内容

关于robots.txt的问题

2020-11-19178
网站每天更新文章发外链,目的就是使网站在百度等搜索引擎上有好的排名。但是还有很多未知的问题,例如:关于robots.txt的问题,虽然是一个问题,但是牵涉到了包含:bc、收录搜索、索引、网站、页面、产品、内容、搜索引擎、html、robots等众多因素,下面小编在搜外问答上为大家找到了2条关于关于robots.txt的问题的解决方案

关于robots.txt的问题问题及描述

我的网站是asp文件生产的html页面,就是说,同一个内容,有2个url与之相对应。
比如首页文件有index.asp,同时还生成了一个index.html,
简介页面文件有about.asp,同时还生成了一个about.html

最主要的是新闻和产品页面,
比如新闻页:
http://www.abc.com/news/shownews.asp?id=97
http://www.abc.com/news/97.html

再就是产品页:
http://www.abc.com/productshow/productshow.asp?id=34
http://www.abc.com/productshow/97.html

同时,我希望搜索引擎主抓取收录的都是html格式文件,那么我的robotx.txt写成:
User-agent: *
Disallow: /*.asp$
Disallow: /news/*?
Disallow: /productshow/*?

还是直接写
User-agent: *
Disallow: /*.asp$
Disallow: /*?*

关于robots.txt的问题参考意见

一、Disallow: /productshow/*
/news/*

二、建议:
User-agent: *
Disallow: /productshow/*
Disallow: /news/*

关于robots.txt的问题,看到这里,您是否还有疑问?总之,无论转到什么行业,都需要不断学习。所以拥有强大学习能力的人,无论之前是做什么工作,在之后面临转业都会有更大的选择空间。欢迎点击以下栏目继续熟悉关于:bc、收录、搜索、索引、网站、页面、产品、内容、搜索引擎、html、robots巩固基础理论知识,不断挑战SEO的新高度。

相关文章

有个问题我始终搞不明白?为什么网站的首页快照不更新了?

有个问题我始终搞不明白?为什么网站的首页快照不更新了?

相信不少SEOER对SEO的发展方向或多或少都产生过迷茫,而搜索引擎的每一次改变,每一次调整,都会对竞价和SEO的工作产生巨大的影响,遇到很多问题,例如:有个问题我始终搞不明白?为什么网站的首页快照不...

关于网站的首页更新元素问题?

关于网站的首页更新元素问题?

每一次算法的更新,都会对SEO行业发生影响,也会对于我们造成不同的问题,例如:关于网站的首页更新元素问题?,虽然是一个问题,但是牵涉到了包含:关键词、快照、每天、排名、网站、文章、百度、百度更新、更新...

美团外卖网站的活动与推广

美团外卖网站的活动与推广

美团外卖网站的活动与推广,美团前期的推广方法,下面小编从以下几点详细介绍一下美团外卖网站的活动与推广: 一、美团外卖推广周日全天推吗? 美团外卖的推广周日是全天性推广的1个活动,具体的活动内容根据...

DNS不稳定,域名被泛解析了,怎么办?

DNS不稳定,域名被泛解析了,怎么办?

SEO一门抽象的艺术,近乎凄美。每个人都在以为自己是在做SEO,每个人都在以为自己想的就是对的。但还会遇到很多问题,例如:DNS不稳定,域名被泛解析了,怎么办?,虽然是一个问题,但是牵涉到了包含:排名...

百度重大更新:搜索结果已经没有内页之分,全是顶级域名显示。不显示具体内页url

百度重大更新:搜索结果已经没有内页之分,全是顶级域名显示。不显示具体内页url

因为网站优化到最后还是给用户看的,哪怕排名再高,用户不满意网站也是白搭。最终目的做到实而不华,适当的地方、时机将客户引导到最终的成交页面,才是最关键的。例如:百度重大更新:搜索结果已经没有内页之分,全...

行业资讯门户类网站要怎么优化呢?重在坚持吗?

行业资讯门户类网站要怎么优化呢?重在坚持吗?

网站每天更新文章,发外链,目的就是使网站在百度等搜索引擎上有好的排名。但是还有很多未知的问题,例如:行业资讯门户类网站要怎么优化呢?重在坚持吗?,虽然是一个问题,但是牵涉到了包含:关键词、降权、每天、...

百度推广v认证,为了让推广效果更大化,还是为盈利?

百度推广v认证,为了让推广效果更大化,还是为盈利?

做SEO的时候是少不了分析的,比如:关键词、权重、外链、排名等,也会遇到一些问题,例如:百度推广v认证,为了让推广效果更大化,还是为盈利?,虽然是一个问题,但是牵涉到了包含:推广、效果、百度、seo、...

做电子商务网络推广

做电子商务网络推广

做电子商务网络推广,怎么做网络营销推广,下面小编从以下几点详细介绍一下做电子商务网络推广: 一、做电子商务运营,网络推广发展前景怎么样? 我也是初学者。电子商务运营。我觉得你可能还没有理解这个“运...

百度用户体验度再次提升,您的网站有提升吗?

百度用户体验度再次提升,您的网站有提升吗?

SEO是一个很重复的过程,有时候明明自己并没有作弊,也没有做其它的什么,排名就这样无端端的往下掉,一个问题连着一个问题的,例如:百度用户体验度再次提升,您的网站有提升吗?,虽然是一个问题,但是牵涉到了...

泪奔,蜘蛛抓取了大量不存在的目录,导致排名全无!

泪奔,蜘蛛抓取了大量不存在的目录,导致排名全无!

互联网上的东西几乎是以每秒为单位在变化,说不定今天还是这样的明天就换了,有些会对于我们在工作中造成一定的困惑,例如:泪奔,蜘蛛抓取了大量不存在的目录,导致排名全无!,虽然是一个问题,但是牵涉到了包含:...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。