如何降低谷歌蜘蛛的抓取频率和速度

SEO 蜘蛛 谷歌 文章 2022-09-13 22:29 715 0 全屏看文

AI助手支持GPT4.0

今天又被蜘蛛把CPU和内存抓到了100%

image.png

我在nginx里限制蜘蛛后,发现adsense又报错了。

无奈又放开蜘蛛。

image.png

一下子又来了8488个。

无奈之下。我只能设置抓取频率了。

设置很简单。

打开网址(如果能访问)

https://www.google.com/webmasters/tools/settings

选择网址

image.png

点击“限制 Google 的最大抓取速度”

image.png

设置下频率,保存下即可

-EOF-

AI助手支持GPT4.0