小程序后台已经关闭页面收录，SiteMap也禁止收录但是还有源源不断的爬虫请求！
AppID:wx1862103c15ee0395
从小程序后台已经关闭【页面收录】
小程序代码做了如下配置（禁止所有收录）：
{
"desc": "关于本文件的更多信息，请参考文档 https://developers.weixin.qq.com/miniprogram/dev/framework/sitemap.html",
"rules": [{
"action": "disallow",
"page": "*"
}]
}
但是还是源源不断的被【腾讯云】的IP爬虫访问，请问是哪里没操作对么？，部分爬虫：
IP: 81.68.172.204
UserAgent:Mozilla/5.0 (iPhone; CPU iPhone OS 13_2_2 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Mobile/15E148 MicroMessenger/7.0.8(0x17000820) NetType/4G Language/zh_CN
IP:81.68.171.181
UserAgent:Mozilla/5.0 (iPhone; CPU iPhone OS 13_2_2 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Mobile/15E148 MicroMessenger/7.0.8(0x17000820) NetType/4G Language/zh_CN
1 回复
这个不是官方爬虫的ua，官方爬虫的特征是： “爬虫访问小程序内页面时，会携带特定的 user-agent “mpcrawler” 及场景值：1129”
https://developers.weixin.qq.com/miniprogram/dev/framework/search/seo.html
强力驱动