网站昨天持续打开很慢,经过分析发现是百度爬虫频繁抓取导致,改了rorots.txt还是不起作用,后来业务同事催得急,急中生智在阿里云后台设置了安全组规则,用cidr一下解决问题。
网段如下
123.125.71.74/24
220.181.108.139/24
111.206.198.46/16
可能会误伤一些用户的IP。
虽然这样做,百度可能会将网站的自然排名降权。那也是没办法的,百度爬虫为什么这样没有轻重的爬呢?
本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:百度爬虫为什么这样没有轻重的爬呢? - Python技术站