什么是Robots协议

Robots是网站和搜引擎之间的一个协议。用来防止搜索引擎抓取那些我们不想被索引到的页面或内容。早期是为了防止搜索引擎抓取网站的一些隐私页面，不想公开展示的页面，Robots的作用已经不在局限于网页的隐私了，如今已经是作为学习SEO的一个最基础的范畴，能够有效提高网站的健康度、纯净度，降低网站垃圾内容收录