SEO优化中经常会用到robots文件，很多新手SEO对robots文件理解不深，甚至觉得这个文件不重要，其实robots文件是对SEO优化非常重要，通过本文来说一下robots文件的作用及重要性。robots文件的概念robots是网站跟爬虫间的协议，所有正规的搜索引擎蜘蛛，进入网站后首先就会访问这个文件，网站的站长会通过这个文件告知蜘蛛哪些