地址:北 京:松江区泖港镇中南路32号 上 海:松江区泖港镇中南路32号 海 口:松江区泖港镇中南路32号 天 津:松江区泖港镇中南路32号 石家庄:松江区泖港镇中南路32号
地址:中国 · 上海市松江区泖港镇中南路32号(地铁4号线西红门站)
大家都知道大概是“百度有啊”上线之前,淘宝网为了避免百度恶意抓取,直接屏蔽了百度蜘蛛,也就是当时闹得沸沸扬扬的robots.txt协议 。
就算是现在打开淘宝的robots.txt协议,依然可以看到淘宝还在屏蔽百度的蜘蛛。
可是事实上真的如此么
事实证明淘宝的robots.txt文件根本对百度蜘蛛起不到任何作用。
小弟推测百度之所以这么做是因为百度考虑到战略方向的问题,因为查询了一下发现一些知名店铺在百度的排名都很不错。足以证明百度对淘宝这种店铺的重要性。更加戏曲化的是天猫网(淘宝商城)也是使用robots.txt协议的。同样屏蔽了百度蜘蛛。
还有一种可能就是淘宝网以及天猫网的权重太高了,导致了百度蜘蛛不遵循搜索引擎协议而进行的抓取。不过对于这种事情可以联想到前些日子,一淘网恶意抓取京东商城以及新蛋网等的商品数据,也是不遵循搜索引擎规则的。
直到现在京东商城等也在屏蔽一淘网的蜘蛛,
小编想说的是现在的搜索引擎为了自身利益而不遵循互联网协议的规则,是值得反思的,呼吁这种互联网大公司能在整个IT行业树立标榜。
在当今的互联网时代,随着移动设备的普及,移动端网站建设已经成为了很多企...
2023-08-08营销型网站建设是目前非常流行火暴的一个话题,流行的甚至有些过时了。之所...
2013-10-22或许很多人都听过这个故事:大哲学家苏格拉底有一天对学生说:&ldquo...
2014-05-28网站的内容一直都是对网站进行seo优化时候的重要部分,如果网站上什么内...
2020-09-01在网站建设工作中,网站设计工作可以说是相当重要,因为这直接决定网站页面...
2022-09-22网络证券于证券业而言影响尤其重大。首先,无可限量的信息资源,加快了证券...
2014-09-01非常感谢您访问我们的网站。在您使用本网站之前,请您仔细阅读本声明的所有条款。
1、本站部分内容来源自网络,涉及到的部分文章和图片版权属于原作者,本站转载仅供大家学习和交流,切勿用于任何商业活动。
2、本站不承担用户因使用这些资源对自己和他人造成任何形式的损失或伤害。
3、本声明未涉及的问题参见国家有关法律法规,当本声明与国家法律法规冲突时,以国家法律法规为准。
4、如果侵害了您的合法权益,请您及时与我们,我们会在第一时间删除相关内容!
联系方式:021-71886699
电子邮件:394588593@qq.com
非常感谢您访问我们的网站。在您使用本网站之前,请您仔细阅读本声明的所有条款。
1、本站部分内容来源自网络,涉及到的部分文章和图片版权属于原作者,本站转载仅供大家学习和交流,切勿用于任何商业活动。
2、本站不承担用户因使用这些资源对自己和他人造成任何形式的损失或伤害。
3、本声明未涉及的问题参见国家有关法律法规,当本声明与国家法律法规冲突时,以国家法律法规为准。
4、如果侵害了您的合法权益,请您及时与我们,我们会在第一时间删除相关内容!
联系方式:021-71886699
电子邮件:394588593@qq.com