微信公众号可被搜索引擎抓取或将更加“互联互通” robots协议是什么
尽管官方已经回应，但这也可能是微信进一步“互联互通”的先兆。
微信公众号的内容只能在微信中看，这可以说早在多年前就已经成为用户的共识。不过最近有消息显示，微信公众号的内容可以被谷歌和必应等搜索引擎搜索到。
但腾讯方面很快就给出了回应，并表示是因为近期平台技术升级，公众号的robots协议出现了漏洞，致使外部爬虫技术可抓取部分公众号内容，但目前漏洞已修复。按照这一说法，这一次的情况只是技术操作失误。
那么，导致公众号内容出现在海外搜索引擎山上的“元凶”robots协议是什么呢?事实上，robots协议也叫robots.txt，是一种存放于网站根目录下的ASCII编码文本文件，它的唯一作用就是告诉搜索引擎的user-agent(网络蜘蛛)，网站中的哪些内容是不对搜索引擎蜘蛛开放，哪些内容又可以被抓取的。
作为控制网站被搜索引擎抓取内容的一种策略，该文件一般会放在网站的根目录里，也就是/robots.txt。因此可以直接在网站域名后来说同样也是如此，此前微信公众号的内容只支持在该应用的搜一搜功能，或是腾讯旗下的搜狗搜索引擎中搜索到。这主要要因为用户上网冲浪的最终目地往往是消费内容，而内容、特别是高质量的原创内容更是天然的流量来源，这些内容可以帮助微信形成封闭的商业生态。所以让用户只能在体系内访问微信公众号的内容，也就成为了微信保护私域流量的关键。
那么问题就来了，robots协议会出现漏洞吗?答案是肯定的。robots协议从本质上来说就是网站运营方提供的规则，然而是规则就免不了出现漏洞。不过robots协议也很难出现问题，因为它的书写非常简单、逻辑也很直白，允许什么搜索引擎爬虫访问什么内容都可以清晰地表述出来。特别是微信这种协议非常简单的规则，仅面向自己的应用内搜索和搜狗搜索开放的robots协议，基本也不会有什么多余的内容。
更为重要的一点是，robots协议本身其实是一个“君子协议”，是一个搜索引擎与网站之间的共识，并没有任何法律效力，也没有任何技术约束。所以换句话来说，这也意味着robots协议从技术层面是无法与搜索引擎爬虫对抗的。
例如，一些网站如果不想让爬虫占据自家宝贵的服务器资源，往往就会直接在robots.txt文件中写上这样的规则，“User-agent:Googlebot，Allow:/User-agent:*，Disallow:/”，意思是本网站仅允许谷歌爬虫抓取，拒绝其他任何搜索引擎。
然而有意思的事情来了，苹果方面在官网的“Applebot”页面声明中写道，“如果robots.txt中没有提到Applebot，而是提到了Googlebot，那么Applebot将遵循Googlebot的指令“，言下之意就是Applebot也是Googlebot。
事实上，robots协议并不会经常修改，毕竟它的内容是与内容运营策略息息相关的。而微信的robots协议在平稳运行了多年后，却在此前监管部门要求互联网厂商互联互通的时候出现“漏洞”，这个件事就可以说或非常“巧”了。
9月17日在监管机构的要求之下，在过去数年间各大互联网厂商建立的以邻为壑的“高墙”已经开始逐步坍塌。尽管在要求“互联互通”一个月后，各大互联网厂商之间的藩篱虽然还没有一夜之间倒塌，但也逐渐有了消融的迹象。
对于微信来说，公众号内容开放给外界，或许是腾讯分阶段分步骤实施互联互通中的一个环节。而如今微信公众号的内容出现在谷歌和必应上，也更像是微信在测试新的robots协议。毕竟，此前他们的robots协议协议可以说是非常简单，只需要允许搜狗搜索一家即可，但现在却需要对外界开放。
要知道，国内的搜索引擎蜘蛛可不仅仅是百度、搜狗、360这些大家比较熟悉的，还有包括网易有道的YoudaoBot、宜搜的EasouSpider、一搜的YisouSpider、微软的Bingbot和Msnbot，以及其他大大小小不知名的爬虫。所以有观点认为，这也就使得微信robots协议的编写难度将会陡然上升。
相关文章
-
网站优化robots与nofollow有哪些差异 浅谈典型的网站优化战略
robots与nofollow有哪些差异robots文件是在根目录中的一个txt文本文件，里边用代码句子告知蜘蛛什么能够抓取，什么不能抓取，从一开始就告知了蜘蛛：“我有些东西不能让你看，请你主动绕开。,说得更浅显点robots一开始就告知蜘蛛咱们什么链接不要去抓取，而对于nofollow标签来说，他无法节约咱们的蜘蛛资源，连接中加了nofollow标签，蜘蛛仍是会抓取这个链接，仅仅不传递权重，也便
2024-03-21 18:09 -
seo基础robots写法及robots高级玩法 已回答 如何对网站关键词进行优化！
2、禁止所有搜索引擎访问User-agent:*Disallow:/或者User-agent:*allow:3、禁止所有搜索引擎访问网站中的几个部分，在这里我用a、b、c目录来代替User-agent:*Disallow:/a/Disallow:/b/Disallow:/c/如果是允许，则是Allow:/a/Allow:/b/Allow:/c/4、禁止某个搜索引擎的访问，我用w来代替User-ag
2024-03-21 18:05 -
看商端玩家Robots定义：Robots文件写法+3个实战经验分享
最近看到高端SEO社群里有同学讨论Robots相关问题，我们从实战的角度，给大家讲讲怎么写Robots写法，以及在实战中可能遇到的问题，都给大家讲一下!希望可以帮助更多不懂的同学!Robots定义什么是Robots，简单来讲，其实Robots就是放在网站根目录下的一个TXT文件，但是这个TXT文件对搜索引擎规定，哪些页面可以访问，哪些页面不行。,Robots规则常用的几类语法：User-agent
2024-03-21 17:48