mpcrawler 爬虫请求太频繁了,我如果都拦截了有什么负面效果吗?

发布于 6 年前作者 guiying829924 次浏览最后编辑 6 年前来自 issues

这是给我做压力测试吗,凌晨开始的,一秒钟多则十线程,少则三秒一次。

全是跑小程序的接口,产品详情接口居多,我刚开始以为被攻击了,直接都封了,配图的create_time是请求到达时间。

小程序appid:wxb33da1ab395848be

3 回复
rcheng
rcheng1 楼5 年前

页面收录设置:可对整个小程序的索引进行关闭,小程序管理后台-功能-页面内容接入-页面收录开关

sitemap 配置:可对特定页面的索引进行关闭

详细见: https://developers.weixin.qq.com/miniprogram/dev/framework/sitemap.html

如果都拦截了,会导致你的小程序SEO效果变差,自己取舍吧

jingtang
jingtang2 楼4 年前

可以在后台配置频率的

tzou
tzou3 楼4 年前

6666