如何设置robots文件？-邢台网络公司|邢台做网站公司|邢台专业网站建设|品牌网页设计网站制作|奥祥网络

邢台区县网站建设

如何设置robots文件？？

发布日期：2014-8-29 21:21:03 浏览次数：2095次

例1. 禁止所有搜索引擎访问网站的任何部分
下载该robots.txt文件    User-agent: *
Disallow: /
例2. 允许所有的robot访问
(或者也可以建一个空文件 "/robots.txt")    User-agent: *
Allow: /
例3. 仅禁止Baiduspider访问您的网站    User-agent: Baiduspider
Disallow: /
例4. 仅允许Baiduspider访问您的网站    User-agent: Baiduspider
Allow: /User-agent: *
Disallow: /
例5. 仅允许Baiduspider以及Googlebot访问    User-agent: Baiduspider
Allow: /User-agent: Googlebot
Allow: /
User-agent: *
Disallow: /
例6. 禁止spider访问特定目录
在这个例子中，该网站有三个目录对搜索引擎的访问做了限制，即robot不会访问这三个目录。需要注意的是对每一个目录必须分开声明，而不能写成 "Disallow: /cgi-bin/ /tmp/"。    User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
例7. 允许访问特定目录中的部分url    User-agent: *
Allow: /cgi-bin/see
Allow: /tmp/hi
Allow: /~joe/look
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
例8. 使用"*"限制访问url
禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。    User-agent: *
Disallow: /cgi-bin/*.htm
例9. 使用"$"限制访问url
仅允许访问以".htm"为后缀的URL。    User-agent: *
Allow: /*.htm$
Disallow: /
例10. 禁止访问网站中所有的动态页面    User-agent: *
Disallow: /*?*
例11. 禁止Baiduspider抓取网站上所有图片
仅允许抓取网页，禁止抓取任何图片。    User-agent: Baiduspider
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.gif$
Disallow: /*.png$
Disallow: /*.bmp$
例12. 仅允许Baiduspider抓取网页和.gif格式图片
允许抓取网页和gif格式图片，不允许抓取其他格式图片    User-agent: Baiduspider
Allow: /*.gif$
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.png$
Disallow: /*.bmp$
例13. 仅禁止Baiduspider抓取.jpg格式图片    User-agent: Baiduspider
Disallow: /*.jpg$

上一条: Now()函数输出日期时间带有"上午、下午"的彻底解决办法

下一条: ASP网站判断手机访问网站自动跳转的代码

奥祥网络

服务项目

系统开发

联系我们

在线反馈

邢台做网站公司
邢台网站制作公司
邢台网站优化公司
邢台网站建设公司
邢台系统开发公司

品牌网站建设
网站改版
手机网站制作
微信网站制作
网站百度排名

邢台学生社团报名系统开发
物业报修系统开发
邢台在线答题系统开发
邢台投票系统开发
邢台短信平台

电话:15081754822
QQ:125856421
Email:125856421@qq.com