搜狐首页 科技 非正常事件

手机搜狐

SOHU.COM

站长们都会,但是都会写错的robots!

午休前分享一下robots吧!

相信很多站长对robots都不会陌生了吧?!

但是还是有些人会写错!这真是丢尽了站长的脸了,还是会写错的,留个言,我们会对你进行“判死缓”的,哈哈!~

不管怎么说,有时候错误往往都会出现在积极两个字上面,站长何必自己去一字一字的写robots呢?!这多浪费时间呀!直接copy别人网站上面不就完了么,对不?简单省事。。。有时候积极也未必是好事,万一写错了就闹笑话了。。。

好吧!你说我就是要自己写,不想看别人的,这是认真负责,就像小学生考试的时候,老师说了,考试不要作弊,不要互相抄袭。。。Duang!~脑袋炸了,所以当答案就在面前的时候,尽然失去了抄的能力!杯具呀。

好了,不调侃了,认真写好robots。

首先robots必须声明针对的蜘蛛

"User-Agent:"

这一行就是针对这一声明的,

"User-agent: Baiduspider"

很明显这就是针对百度蜘蛛的声明了

第二个要了解的就是“允许”和“不允许”

代码是“Allow:”和“Disallow:”,后面加上你想要“允许”和“不允许”抓取的栏目或者网址

这里在介绍一个通配符“*”,怎么用呢!看看

Disallow: /*.css

Disallow: /*.js

Disallow: /*.aspx

这里就是禁止抓取所有的css样式和js样式,还有我们的动态页

第三个你可以在最后加上自己的sitemap地址,还是比较有用的,本人测试过。

第四点呐最重要的一点,就是空格!空格!!空格!!!

很多人在自己写robots的时候都会忘记的就空格了

User-Agent:(英文空格)*

Disallow:(英文空格)/*.css

更多文章推荐:

阿里技术协会(ATA):一个程序员的运气有多重要

天天写业务代码,如何成为技术大牛?

阿里珍贵技术资料限时免费下载(双日更新中)

精选