电动售货机网站使用 robots.txt 中常见的误区-利来国际登录


大家都知道网站能够运用 robots.txt 来控制蜘蛛的抓取,其实咱们在运用过程中会有很多误区:


今天罗列一下常见的robots.txt实际运用中的误区:


误区1.allow包含的规模超过disallow,并且方位在disallow前面。


比方有很多人这样写:



user-agent: *
allow: /
disallow: /mulu/


想让一切蜘蛛抓取本站除/mulu/下面的url之外的一切页面,制止抓取/mulu/下面的一切url。


搜索引擎蜘蛛履行的规则是从上到下,这样会形成第二句指令失效。也就是说制止抓取/mulu/目录这条规则是无效的。正确的是disallow应该在allow之上,这样才会收效。


误区2.disallow指令和allow指令之后没有以斜杠”/”最初。


这个也很容易被忽视,比方有人这样写disallow: 123.html ,这种是没有作用的。斜杠”/”表明的是文件对于根目录的方位,假如不带的话,自然无法判断url是哪个,所以是错误的。


正确的应该是disallow: /123.html,这样才干屏蔽/123.html这个文件,这条规则才干收效。


误区3.屏蔽的目录后没有带斜杠”/”。


也就是比方想屏蔽抓取/mulu/这个目录,有些人这样写disallow: /mulu。那么这样是否正确呢?

首先这样写(杭州网站建设)的确能够屏蔽/mulu/下面的一切url,不过同时也屏蔽了类似/mulu123.html这种最初为/mulu的一切页面,作用等同于disallow: /mulu*。


正确的做法是,假如只想屏蔽目录,那么必须在结束带上斜杠”/”。


暂时先写这几条,今后遇到了其他的随时补充




返回观点列表
本文标签:

相关专题

体验从沟通开始,让我们聆听您的需求!

开始您的数字化品牌体验! 0571-85815193 期待您的来电!

[ 网站建设×品牌利来手机网址官网设计×大策略营销门户×微信小程序开发×微信公众号开发]

派迪业务总监微信号

了解最新项目报价

派迪产品经理钉钉号

免费获取项目方案

我们正使用 cookie 来改善您的访问体验

派迪科技非常重视您的个人隐私,当您访问我们的网站www.hzpady.com时,请同意使用所有cookie 。

如果您想详细了解我们如何使用cookie请访问我们的 《隐私政策》

cookie 偏好

如果您想详细了解我们如何使用cookie请访问我们的 《隐私政策》

管理cookie偏好

基本 cookie

始终允许

这些 cookie 是网站运行所必需的,不能在我们的系统中关闭。它们通常仅针对您所做的相当于服务请求的操作而设置,例如设置您的隐私首选项、登录或填写表格。您可以将浏览器设置为阻止或提醒您有关这些 cookie 的信息,但网站的某些部分将无法运行。这些 cookie 不存储任何个人身份信息。

性能 cookie

始终允许
这些 cookie 使我们能够计算访问量和流量来源,以便我们可以衡量和改进我们网站的性能。它们帮助我们了解哪些页面最受欢迎和最不受欢迎,并了解访问者如何在网站上移动。这些 cookie 收集的所有信息都是汇总的,而且是匿名的。如果您不允许这些 cookie,我们将不知道您何时访问了我们的网站,也无法监控其性能。

功能性 cookie

这些 cookie 收集信息用于分析和个性化您的定向广告体验。您可以使用此拨动开关来行使选择不获取个人信息的权利。如果您选择关闭,我们将无法向您提供个性化广告,也不会将您的个人信息交给任何第三方。

定位 cookie

这些 cookie 可能由我们的广告利来国际登录的合作伙伴通过我们的网站设置。这些公司可能会使用它们来建立您的兴趣档案,并在其他网站上向您展示相关广告。它们不直接存储个人信息,而是基于唯一标识您的浏览器和互联网设备。如果您不允许使用这些 cookie,您将体验到较少针对性的广告。

我们正使用 cookie 来改善您的访问体验

派迪科技非常重视您的个人隐私,当您访问我们的网站www.hzpady.com时,请同意使用所有cookie 。

如果您想详细了解我们如何使用cookie请访问我们的 《隐私政策》