微信现已开放小程序内搜索，开发者可以通过 sitemap.json 配置，或者管理后台页面收录开关来配置其小程序页面是否允许微信索引。当开发者允许微信索引时，微信会通过爬虫的形式，为小程序的页面内容建立索引。当用户的搜索词条触发该索引时，小程序的页面将可能展示在搜索结果中。 爬虫访问小程序内页面时，会携带特定的 user-agent：mpcrawler 及场景值：1129。需要注意的是，若小程序爬虫发现的页面数据和真实用户的呈现不一致，那么该页面将不会进入索引中

具体请参考：

1、页面收录设置：可对整个小程序的索引进行关闭，小程序管理后台-设置-基本设置-页面收录设置；（https://mp.weixin.qq.com/wxopen/readtemplate?t=config/collection_agreement_tmpl）

2、sitemap 配置：可对特定页面的索引进行关闭（https://developers.weixin.qq.com/miniprogram/dev/framework/sitemap.html）