剖析robots.txt文件中应该屏蔽哪些目录(2)

最后，需要说明一点，很多站长朋友喜欢把站点地图地址放在robots.txt文件中，当然这里并不是去屏蔽搜索引擎，而是让搜索引擎在第一次索引网站的时候便能通过站点地图快速的抓取网站内容。这里需要注意一下：1、站点地图的制作一定要规范;2、网站一定要有高质量的内容;