标签：robots

2012-12-16moonygao阅读(1681)评论(0)赞(0)

搜索引擎三巨头打的不亦乐乎，但偶尔也合作一下。去年Google，雅虎，微软就合作，共同遵守统一的Sitemaps标准。前两天三巨头又同时宣布，共 同遵守的robots.txt文件标准。Google，雅虎，微软各自在自己的官方博客上发了一篇帖...

2012-03-04moonygao阅读(1807)评论(0)赞(0)

作为一名SEOer大家肯定是知道搜索蜘蛛的，但是关于robots.txt这个搜索蜘蛛遵循协议，却鲜少有人谈起，其实用好robots是很容易为你网站提权的，这里我不废话了，直接说。 第一，用robots屏蔽网站重复页 很多网站一个内容提供多种...