网站昨天持续打开很慢,经过分析发现是百度爬虫频繁抓取导致,改了rorots.txt还是不起作用,后来业务同事催得急,急中生智在阿里云后台设置了安全组规则,用cidr一下解决问题。

网段如下

123.125.71.74/24

220.181.108.139/24

111.206.198.46/16

 

可能会误伤一些用户的IP。

 

虽然这样做,百度可能会将网站的自然排名降权。那也是没办法的,百度爬虫为什么这样没有轻重的爬呢?

 

百度爬虫为什么这样没有轻重的爬呢?