小程序后台关闭的页面记录，开发设置的sitemap 为全部索引，会有很多爬虫数据，是需要开发设置sitemap 为不索引？

微信小程序的爬虫数据，除了来源于页面收录，还会来源于其他地方吗？