Intermediate
sitemap 与 robots.txt 实践
正确使用 sitemap、robots.txt 和 canonical，帮助搜索系统发现应该被发现的页面。
三个文件不要混用
sitemap.xml 用于告诉搜索系统哪些 URL 重要，robots.txt 用于控制抓取路径，canonical 用于说明重复页面中的首选版本。它们解决的问题不同。
sitemap
应包含什么
包含公开、可索引、稳定、对用户有价值的页面。不要把登录页、后台页、搜索结果页、重复参数页放进去。
lastmod
lastmod 应反映内容真实更新时间，不要每天机械刷新。错误的更新时间会降低信号可信度。
robots.txt
应避免什么
不要误封 CSS、JS、图片等渲染资源。不要用 robots.txt 保护敏感数据，敏感内容应该通过认证和权限控制。
canonical
如果同一内容有多个 URL，canonical 应指向希望被收录和展示的主版本。它是提示，不是强制命令，所以页面内容和内链也应保持一致。