关于微信爬虫以非常大的一个量爬取小程序接口和页面的问题
发布于 6 年前 作者 kshao 14928 次浏览 来自 官方Issues

微信爬虫以一种恐怖的方式爬取小程序页面和接口,造成了非常差的用户体验。

我们发现一共有几千个IP换着几千个微信号爬取我们的页面,一天的请求量非常大,同时还会模拟提交信息,信息内容“@@::@@”,用户体验非常差。

假如爬虫逻辑没有优化好,就不建议上线,给用户照成了非常差的影响。

1 回复

你好,可以提供小程序appid看下。另外,若是不希望被抓取,可以设置sitemap,具体参考文档说明:https://developers.weixin.qq.com/miniprogram/dev/framework/sitemap.html

回到顶部