mpcrawler 爬虫请求太频繁了,如何控制?

发布于 7 年前作者 houyong6734 次浏览最后编辑 7 年前来自 issues

页面接入内容里面有个频率上限已经设置了100次/10分钟,但是爬虫还是特别猛,10分钟访问了上万次,是这个配置有bug吗?

1 回复
xsun
xsun1 楼5 年前

你好,从哪里看出的爬虫请求太频繁呢?