mpcrawler 爬虫请求太频繁了，如何控制？
发布于 6 年前 作者 houyong 6563 次浏览 来自 官方Issues

页面接入内容里面有个频率上限已经设置了100次/10分钟，但是爬虫还是特别猛，10分钟访问了上万次，是这个配置有bug吗？

1 回复

你好，从哪里看出的爬虫请求太频繁呢？

回到顶部