robots.txt文件用法举例_郑州网站设计师家园_百度空间
例1. 禁止所有搜索引擎访问网站的任何部分
下载该robots.txt文件
User-agent: *
Disallow: /
例2.允许所有的robot访问
(或者也可以建一个空文件 "/robots.txt")
User-agent: *
Disallow:
或者
User-agent: *
Allow: /
例3. 仅禁止Baiduspider访问您的网站
User-agent: Baiduspider
Disallow: /
例4. 仅允许Baiduspider访问您的网站
User-agent: Baiduspider
Disallow:
User-agent: *
Disallow: /
例5. 禁止spider访问特定目录
在这个例子中,该网站有三个目录对搜索引擎的访问做了限制,即robot不会访问这三个目录。需要注意的是对每一个目录必须分开声明,而不能写成 "Disallow: /cgi-bin/ /tmp/"。
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
例6. 允许访问特定目录中的部分url
User-agent: *
Allow: /cgi-bin/see
Allow: /tmp/hi
Allow: /~joe/look
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
例7. 使用"*"限制访问url
禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
User-agent: *
Disallow: /cgi-bin/*.htm
例8. 使用"$"限制访问url
仅允许访问以".htm";为后缀的URL。
User-agent: *
Allow: .htm$
Disallow: /
例9. 禁止访问网站中所有的动态页面
User-agent: *
Disallow: /*?*
例10. 禁止Baiduspider抓取网站上所有图片
仅允许抓取网页,禁止抓取任何图片。
User-agent: Baiduspider
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$
例11. 仅允许Baiduspider抓取网页和.gif格式图片
允许抓取网页和gif格式图片,不允许抓取其他格式图片
User-agent: Baiduspider
Allow: .gif$
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .png$
Disallow: .bmp$
例12. 仅禁止Baiduspider抓取.jpg格式图片
User-agent: Baiduspider
Disallow: .jpg$
郑重声明:资讯 【robots.txt文件用法举例_郑州网站设计师家园_百度空间】由 发布,版权归原作者及其所在单位,其原创性以及文中陈述文字和内容未经(企业库qiyeku.com)证实,请读者仅作参考,并请自行核实相关内容。若本文有侵犯到您的版权, 请你提供相关证明及申请并与我们联系(qiyeku # qq.com)或【
在线投诉
】,我们审核后将会尽快处理。
——
相关资讯
——
泰州工业焊接机器手哪家便宜_大德重工规格齐全
2018/8/18
江西省治肿瘤比较好的医院
2015/11/17
生产机制山楂圈_新品食用山楂干上哪买
1900/1/1
xxx高的浙江排水板厂家:福通土工材料厂供应好用的排水板
1900/1/1
深圳海燕服装批发城市场_网店批发_广州服装批发|广州外贸服装批发|服装 ...
2010/4/14
沃壤创意» Blog Archive » SO WATER水龙头开关设计
2010/5/14
对糖尿病病情有益的糖尿病食物- 糖尿病症状- a5458025 - 和讯博客
2010/5/26
Janet Wright:后危机时代全球PVC产业链现状及发展前景- 雪无情的日志 ...
2010/6/1
洛阳一拖实习报告书CC双活塞杆可调行程轻气缸
2010/6/24
仲羟基与其他官能团的反应- 电木板加工-上海伟奋电木板加工 ...
2010/7/7
介绍一下开料机的用途
2013/11/25
中山到天津物流专线 中山到天津货运专线
2014/6/6
广州高低压聚乙烯袋供应商
2014/7/24
生活小妙招去眼袋↓╩
2015/3/19