网站需不需要屏蔽，其他搜索引擎蜘蛛？
发布时间：2022-08-23 10:38:09 所属栏目：优化 来源：互联网
导读：我们做SEO推广过程中，需要根据网站数据分析的结果来做SEO策略，这样会更有效，我们在查看网站日志时会发现网站有很多蜘蛛抓取的记录，这些蜘蛛有我们比较熟悉的百度蜘蛛当然也包含了众多的其他类型蜘蛛，如果站在SEO精细化运营的角度来思考，我们应该对网站
|
我们做SEO推广过程中，需要根据网站数据分析的结果来做SEO策略，这样会更有效，我们在查看网站日志时会发现网站有很多蜘蛛抓取的记录，这些蜘蛛有我们比较熟悉的百度蜘蛛当然也包含了众多的其他类型蜘蛛，如果站在SEO精细化运营的角度来思考，我们应该对网站蜘蛛来访做规划。 根据以往做SEO攻略的经验，我们认为： 1.什么样的蜘蛛需要屏蔽 对蜘蛛的管理，我们的权限只有禁止其抓取与允许抓取的选择，那么，什么样的蜘蛛需要屏蔽呢？ ①没有价值的蜘蛛 如果我们只做百度SEO或者国内的几大搜索引擎，比如搜狗、360、头条一类的，其他类型的蜘蛛，我们是可以进行屏蔽的，尤其是一些来路不明的蜘蛛，有的是小众搜索引擎也有的是一些采集程序伪装的蜘蛛，如果有需求可以进行屏蔽。 ②影响网站的蜘蛛 但一般正常网站的蜘蛛抓取是不需要进行屏蔽的，但如果某个类型的蜘蛛抓取量特别巨大，已经影响到了网站正常访问，那么，我们认为你有必要将这种类型的蜘蛛进行屏蔽。 当然一些时候，我们需要的蜘蛛也有过量抓取而导致网站页面打开速度慢的问题，我们建议不进行屏蔽，可以到其站长平台，通过网站抓取调整功能来限制抓取上限。 2.什么样的蜘蛛需要保留 有需要屏蔽的蜘蛛就必然有需要保留的蜘蛛，那么，什么类型的蜘蛛需要保留呢？ ①有效抓取蜘蛛 毫无疑问对网站有价值的蜘蛛需要保留，尤其是现在大部分网站都做百度SEO，百度蜘蛛中有价值的以200/116开头的蜘蛛肯定要保留，其中还有很多其他百度蜘蛛，我们也建议保留，你可以通过查询百度蜘蛛功能列表来查看这些蜘蛛的作用，如果是伪造的直接屏蔽，其他不影响网站的都要保留，因为有一些蜘蛛是辅助权重蜘蛛的。 ②有潜在价值的蜘蛛 还有一些蜘蛛，比如谷歌蜘蛛，如果在不影响网站正常运行的情况下，建议保留，因为虽然没有做谷歌SEO，但谷歌蜘蛛大量抓取也会促进网站在谷歌搜索引擎中的排名，这样可以让网站多一个曝光品牌SEO的渠道。 3.如何屏蔽不需要蜘蛛 ①robots协议 最简单实用的策略是通过robots协议来屏蔽蜘蛛，具体怎么屏蔽，robots协议的写法可以到搜索引擎中直接搜索，有很多免费工具可以使用。当然robots协议只能屏蔽一些知名的搜索引擎蜘蛛，一些不明来路蜘蛛是没有办法屏蔽的。 ②UA封禁 UA是用户代理的意思，每一种蜘蛛都会有固定的UA信息，我们将不需要保留的UA信息，进行修改，让其指向403或者500页面，这样屏蔽的蜘蛛就无法访问网站了，也就达到了我们屏蔽蜘蛛的目的。 ③IP屏蔽 我们在做屏蔽工作时，也可以对一些来路不明的ip进行屏蔽，尤其是一些采集蜘蛛，我们可以根据其ip来进行屏蔽，一些采集工具有多个ip进行采集，如果ip段是相同的，我们也可以通过屏蔽ip段来禁止蜘蛛访问。 总结：关于网站需不需要屏蔽，其他搜索引擎蜘蛛的问题，我们就讨论到这里，以上内容，仅供参考。 （编辑：淮安站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
