作网站运营尤其是网站排名优化的时候，我们总想着如何来引导搜索引擎蜘蛛来爬行网页，收录。然而，很多时候一些网站因为所真对的用户群体和目标地区不同，并不希望获得搜索引擎的光顾，这个时候我们要如何来解决呢？今天和笔者小丹一起来研究一下吧！

当我们看到要屏蔽抓取的时候，大多数SEOer想到的都是robots.txt文件。因为在我们的认知中，robot文件可以有效的杜姐搜索引擎抓取某些页面。但是要知道，虽然这个方式很不错，但是更多时候小丹认为它比较适合于在网站没有完成，为了避免之后的死链或者考察期而存在的。 若单单为了屏蔽某个搜索引擎的抓取，我们大可不必为空间造成负累，只要使用一点简单的代码即可。例如，我们要屏蔽百度蜘蛛的抓取lt;meta name=quot;Baiduspiderquot; content=quot;noarchivequot;gt;即可。当然这仅仅是屏蔽百度抓取的方式，如果想要任何一个搜索引擎，只要将Baiduspider更换为改搜索引擎的蜘蛛即可。 常见搜索引擎蜘蛛名称如下： 1、baiduspider 百度的综合索引蜘蛛 2、Googlebot 谷歌蜘蛛 3、Googlebot-Image 专门用来抓取图片的蜘蛛

4、Mediapartners-Google 广告联盟代码的蜘蛛 5、Yahoo Slurp 雅虎蜘蛛 6、Yahoo! Slup China 雅虎中国蜘蛛 7、Yahoo!-AdCrawler 雅虎广告蜘蛛 8、YodaoBot 网易蜘蛛 9、Sosospider 腾讯SOSO综合蜘蛛 10、sogou spider 搜狗综合蜘蛛 11、MSNBot Live 综合蜘蛛 但，如果你要屏蔽所有的搜索引擎，那么就要使用robot文件了：lt;meta name=quot;robotsquot; content=quot;noarchivequot;gt;。 到这里很多朋友获取应该明白了，在代码中禁止建立网页快照的命令是noarchive。所以，如果我们对于搜索引擎有限制，就根据自己的禁止快照对象，将代码加在网页的lt;headgt;与lt;/headgt;直接即可；反之，在不要添加任何一条代码，就可以保证各大搜索引擎能够正常访问网站并且建立快照。 (转载请注明转自：笔者小丹，谢谢!珍惜别人的劳动成果，就是在尊重自!）————————————————版权声明：本文为CSDN博主「canyueyunlei」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。原文链接：https://blog.csdn.net/canyueyunlei/java/article/details/50379434

声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。