欢迎您来到东莞市千度网络科技有限公司官方网站!

12年专注于网络推广实战

让你的全网营销真正落地

全国服务热线

135-8099-7710

0769-3335 3196

新闻中心

网站建设第一品牌网络营销整合专家

当前位置:首页 << 新闻中心 << robot.txt书写规范

robot.txt书写规范

作者:admin 浏览次数:283 时间:2018-7-12

robot是搜索引擎在爬取整个网站的时候第一个访问的文件,当蜘蛛在抓取网站时,会先看网站是否有robot文件,如果该站点存在robot,那么蜘蛛会根据robot的书写来访问网站的内容,如果没有robot,那么蜘蛛将会访问网站上所有的页面,那么robot如何来进行书写呢?下面介绍几个常用的robot书写方法

允许搜索引擎抓取所有网站robot为空
禁止所有搜索引擎抓取:
User-agent: *
Disallow: /
禁止百度蜘蛛抓取:
User-agent: baiduspider
Disallow: /
允许百度抓取,禁止谷歌抓取:
User-agent: *
Allow: /
User-agent: baiduspider
Allow: /
User-agent: Googlebot
Disallow: /

上一篇:PHP301做法详解下一篇:老域名做排名有着怎么样的优势?

最热话题

首页 | SEO优化 | 客户效果怎么样 | SEO优化必读 | 网络营销外包 | 营销型网站建设 | 手机网站建设 | 展示型网站建设 | 新闻中心 | 联系我们 | 在线地图 | 招聘中心 |东莞关键词优化
Copyright © 2006-2018 Qiandukj.com All right Reserved. 版权所有 东莞市千度网络科技有限公司
电 话:0769-3335 3196 VIP客户直线::135-8099-7710 传 真:0769-8125 1762
地 址:东莞市南城区莞太路星鹏商务大厦A座6C Email:service@qiandukj.com 网 址:http://www.qiandukj.com 粤ICP备13075560号-3