小程序,页面内容收录,已经设置爬虫频率上限为1000次/日,但是不生效?
打开了页面收录开关,一开始没有设置上限,发现爬虫爬得太狠,最高峰到了单日7800多次访问量。于是设置了限频,每日爬虫的次数上限为1000。
但实际上,每天还是在以5000次左右的频次在爬。这个限制频次,好像没有生效啊。
大家遇到过这种情况吗?
打开了页面收录开关,一开始没有设置上限,发现爬虫爬得太狠,最高峰到了单日7800多次访问量。于是设置了限频,每日爬虫的次数上限为1000。
但实际上,每天还是在以5000次左右的频次在爬。这个限制频次,好像没有生效啊。
大家遇到过这种情况吗?