小程序发布后，做了修改第二次发布，以前关注了小程序的用户打开的页面没有刷新

小程序第二次修改发布后，以前只用小程序的用户打开的页面还是旧页面，难道只能删掉小程序，重新添加吗？