135-8099-7710
11年专注于百度快照优化
让你的全网营销真正落地
当前位置:网站首页 > 新闻中心

robot.txt书写规范

发布时间:[2018-7-12]  查看次数:28

robot是搜索引擎在爬取整个网站的时候第一个访问的文件,当蜘蛛在抓取网站时,会先看网站是否有robot文件,如果该站点存在robot,那么蜘蛛会根据robot的书写来访问网站的内容,如果没有robot,那么蜘蛛将会访问网站上所有的页面,那么robot如何来进行书写呢?下面介绍几个常用的robot书写方法

允许搜索引擎抓取所有网站robot为空
禁止所有搜索引擎抓取:
User-agent: *
Disallow: /
禁止百度蜘蛛抓取:
User-agent: baiduspider
Disallow: /
允许百度抓取,禁止谷歌抓取:
User-agent: *
Allow: /
User-agent: baiduspider
Allow: /
User-agent: Googlebot
Disallow: /


上一篇文章: PHP301做法详解
下一篇文章: 老域名做排名有着怎么样的优势?
首页 | SEO优化 | 客户效果怎么样 | 我们的优势 | SEO优化必读 | 网络营销外包 | 营销型网站建设 | 手机网站建设 | 展示型网站建设 | 新闻中心 | 联系我们 | 在线地图 | 招聘中心 | 旧版首页 | 东莞关键词优化
Copyright © 2006-2017 Qiandukj.com All right Reserved. 版权所有 东莞市千度网络科技有限公司
电 话:0769-3335 3196 VIP客户直线:13580997710 传 真:0769-8125 1762
地 址:东莞市南城区莞太路星鹏商务大厦A座6C Email:service@qiandukj.com 网 址:http://www.qiandukj.com 粤ICP备13075560号-3