关于微信爬虫以非常大的一个量爬取小程序接口和页面的问题
微信爬虫以一种恐怖的方式爬取小程序页面和接口，造成了非常差的用户体验。
我们发现一共有几千个IP换着几千个微信号爬取我们的页面，一天的请求量非常大，同时还会模拟提交信息，信息内容“@@::@@”，用户体验非常差。
假如爬虫逻辑没有优化好，就不建议上线，给用户照成了非常差的影响。
1 回复
你好，可以提供小程序appid看下。另外，若是不希望被抓取，可以设置sitemap，具体参考文档说明：https://developers.weixin.qq.com/miniprogram/dev/framework/sitemap.html
强力驱动