标签： 蜘蛛抓取

　　robots文件存在于网站根目录，是用来告诉百度蜘蛛那些应该抓取，那些不应该抓取。正确使用robots文件有助于做好seo优化，robots文件的核心词汇就是allow和disallow用法。百度 … Continue reading 怎么利用robots文件做好网站优化让蜘蛛更好的抓取网站?