robots文件里是否要屏蔽掉css和js文件呢?

发布者:羽忆教程网 发布时间:2019-09-16 14:45:27

robots文件是一种告诉蜘蛛哪些文件可以抓取哪些不可以抓取,而css和js是每个网站都拥有的文件,而蜘蛛如果频繁抓取css和js文件,是否会降低网站其他页面的抓取呢?是否要禁止其抓取css和js文件?

小白的建议是没有必要禁止蜘蛛爬取css和js文件。
理由是因为:

1、如果你的网站需要通过屏蔽js和css来让其他网站内页得到抓取的话,那你的网站也够差的;
2、搜索引擎分得清什么是js和css,以及什么是网页;

3、没有证据证明蜘蛛爬行JS和css之后,会减少爬行网页的机会。

综上所述,你觉得robots文件需不需要禁止js和css文件呢?

9 人已浏览此话题

需要
7 人
不需要
9 人

正方观点

反方观点

robots文件 的观点

我觉得不需要,因为蜘蛛是不会一直捉css和js文件的,而是真正的会抓取网站的优质内容页面

羽忆免费资源教程网

作者:小白

QQ:1036575429

SEO教程文章统计:76 篇

web前端教程文章统计:1 篇

python教程文章统计:9 篇

IT免费资源文章统计:2 篇

互联网资讯文章统计:6 篇

邮箱:1036575429@qq.com(欢迎投稿)

网站地图