本文目录一览：
robots能否彻底屏蔽搜索蜘蛛爬行与抓取呢?
对的。Robots协议是一种用于网站管理者通知网络爬虫哪些页面可以被爬取的协议。通过在网站的根目录下放置一个名为robots.txt的文件，网站管理者可以指定哪些页面可以被爬取，哪些页面不可以被爬取。爬虫程序在访问网站时会首先查看robots.txt文件，根据其中的规则来判断是否可以访问和采集某些网页的数据。
匀欢？坏木突嵯氲絩obots.txt文档。robots.txt是什么？其实在此前惠州SEO叶剑辉也已经对此进行了基础的说明。robots.txt是一种存放在网站空间根目录下的文本文件，是一种协议，用来告诉搜索蜘蛛网站中哪些可被爬行抓取，哪些不可被爬行抓取。
没有必要优化你网站上的所有的图片。比如模板中使用的图片、导航中的图片还有背景图片等等，我们不用为这些图片添加ALT标签，我们可以把这些图片放在一个单独的文件夹里。并通过设置robots文件设置来阻止蜘蛛抓取这些图片。
这里要说明的是Robots.txt文件只能起到阻止搜索引擎索引。Robots.txt写法如果你站点中的所有文件，都可以让蜘蛛爬取、收录的话，那么语法这样写：User-agent： *Disallow：当然，如果你网站中全部的文件都可以让搜索引擎索引的话，你也可以不管这个文件。
浏览器需要遵守Robots协议吗
robots就是一个协议，可以遵守也可以不遵守，就像暂停开放一样，当来了个政府大员想进去还能暂停开放吗？就像在公交车给老人让座一样，你可以让座，也可以不让座，让座是一种美德，你可以要，也可以不要，这跟你是好是坏没有关系。
robots文件必须存放在网站根目录下，如域名/robots.txt，可以验证其存在性。其内容包括user-agent指令来指定搜索引擎，以及Disallow指令定义爬虫的访问限制。例如，User-agent： *表示所有搜索引擎都将遵循协议，而Disallow： /？s*则阻止包含“/？s”路径的页面爬取。
robots协议是通用共识，一般来说，大型的、有资质的搜索引擎都会遵守，robots协议是网站所有者不想要公开在网上的内容，是为了保障个人隐私，但是robots协议里规定的内容是可以获取的，只是大家默认遵守该协议，不获取协议内的内容。
年9月左右 中广网北京9月7日消息（记者庄胜春）据中国之声《央广新闻》报道，近日，有报道称360违反Robots协议抓取网站信息，并通过浏览器收集隐私数据。这种行为被指不顾行业规则底线，引起业内人士的热议。
如今，在中国国内互联网行业，正规的大型企业也都将Robots协议当做一项行业标准，国内使用Robots协议最典型的案例，就是淘宝网拒绝百度搜索、京东拒绝一淘搜索。不过，绝大多数中小网站都需要依靠搜索引擎来增加流量，因此通常并不排斥搜索引擎，也很少使用Robots协议。
如果黑客做搜索引擎,不遵守robots协议,那世界不是完了?
Robots协议的核心思想就是要求Robot程序不要去检索那些站长们不希望被直接搜索到的内容。将约束Robot程序的具体方法规范成格式代码，就成了Robots协议。一般来说，网站是通过Robots.txt文件来实现Robots协议。
而鉴于网络安全与隐私的考虑，每个网站都会设置自己的Robots协议，来明示搜索引擎，哪些内容是愿意和允许被搜索引擎收录的，哪些则不允许。搜索引擎则会按照Robots协议给予的权限进行抓取。Robots协议代表了一种契约精神，互联网企业只有遵守这一规则，才能保证网站及用户的隐私数据不被侵犯。
根据协议，网站管理员可以在网站域名的根目录下放一个robots.txt 文本文件，里面可以指定不同的网络爬虫能访问的页面和禁止访问的页面，指定的页面由 正则表达式 表示。网络爬虫在采集这个网站之前，首先获取到这个文件，然后解析到其中的规则，然后根据规则来采集网站的数据。
robots文件必须存放在网站根目录下，如域名/robots.txt，可以验证其存在性。其内容包括user-agent指令来指定搜索引擎，以及Disallow指令定义爬虫的访问限制。例如，User-agent： *表示所有搜索引擎都将遵循协议，而Disallow： /？s*则阻止包含“/？s”路径的页面爬取。
robots协议是一个纯文本文件，通常是搜索引擎第一个爬取的文件，搜索引擎该文件了解该网站哪些是所有者不想被收录的内容，进行有选择的爬取和收录。robots协议命名为robots.txt，放在网站的根目录下。