昆明网站robots.txt协议你知道多少？
大部分网站都有一个robots协议，也称为，爬虫协议或机器人协议。以文本文件格局存在，一般都叫做robots.txt，是网站告诉搜索引擎蜘蛛程序哪些页面是能够抓取，哪些页面是拒绝抓取的。当搜索引擎蜘蛛来拜访网站的时分，第一件事就是先读取robots文件，然后遵从协议进行对网站进行拜访抓取。假如网站不存在robots协议，那么会被视为能够抓取网站上的一切内容。包含敏感隐私文件。一切主张是网站都应该有robots协议。
一、什么是robots协议文件
robots协议算是用来确保网站隐私信息不被走漏，通过robots协议定义的规矩对搜索引擎抓取网站内容做了约定，说白话解释，就是告诉蜘蛛，某些页面是不对蜘蛛敞开拜访的。一般存放在网站的根目录，但是说白了，各大搜索引擎会抓取吗？
个人觉得是都抓取的，或许仅仅在对页面进行参加索引库的时分进行处理，那些页面不参加索引库，由于究竟搜索引擎说白了就是数据公司，不会放过每一个数据。当然这个也仅仅猜测，咱们做网站优化，关于robots文件做到咱们应该做的就好。
Robot 协议中参加网站后台的话可用*号替代一些字符来确保安全。
Robots 协议能更好的辅助搜索引擎蜘蛛抓取咱们的网站提高抓取效率。
网站上线后当天假如还没修正结束能够利用
User-agent: * Disallow: /
来屏蔽一切搜索引擎蜘蛛
二、robots协议的写法格局
1、允许一切搜索引擎蜘蛛：
User-agent: * Allow: /
另一写法：
User-agent: * Disallow:
2、仅允许特定的百度蜘蛛：
User-agent: baiduspider Allow:
3、阻拦一切的搜索引擎蜘蛛：
User-agent: * Disallow: /
4、制止一切搜索引擎拜访特定目录：
User-agent: * Disallow: /cgi-bin/ Disallow: /images/ Disallow: /tmp/ Disallow: /private/
5、仅制止坏爬虫拜访特定目录（BadBot用真实的姓名替代）：
User-agent: BadBot Disallow: /private/
6、制止一切机器人拜访特定文件类型[2]：
User-agent: * Disallow: /*.php$ Disallow: /*.js$ Disallow: /*.inc$ Disallow: /*.css$
三、robots协议的一些运用误区
1，假定网站上的一切文件都同意蜘蛛抓取，没有什么隐私文件可躲藏不见的。那是不是网站就能够不必要添加robots协议文件了呢？答案当然是否定的。假如不存在robots协议文件，那搜索引擎蜘蛛将会对网站一切页面都进行抓取，包含404页面，404页面抓取录入会对网站形成过多重复页面的负面。并且蜘蛛拜访robots.txt的时分也是会给蜘蛛回来404错误。
2，robots协议文件中设置一切文件都能够被蜘蛛抓取，并不能添加网站的录入。网站程序中的一些脚本文件，CSS文件，IMG文件等等跟网站内容不相关的文件也会被蜘蛛抓取，并不会对网站录入有好的效果。乃至或许被以为内容与主题不符而被受到赏罚。那岂不是因小失大。
3，过多蜘蛛对一切文件进行抓取，也完全是在糟蹋服务器的资源，形成服务器卡顿，反而会影响用户正常拜访，一起对蜘蛛拜访也有影响，假如蜘蛛抓取过慢会以为网站翻开过慢，不仅仅导致整个站点的页面录入受到影响，并且会被受到网站服务器过慢赏罚。
四、什么样的文件能够设置不被蜘蛛抓取
网站中不需要搜索引擎蜘蛛抓取的文件有：后台办理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。
能够在robots.txt文件中作出如下设置：
User-agent: * Disallow: /admin/ 后台办理文件 Disallow: /require/ 程序文件 Disallow: /attachment/ 附件 Disallow: /images/ 图片 Disallow: /data/ 数据库文件 Disallow: /template/ 模板文件 Disallow: /css/ 样式表文件 Disallow: /lang/ 编码文件 Disallow: /script/ 脚本文件
假如你的网站是动态网页，并且这些动态网页创建了静态副本，方便搜索蜘蛛更简单抓取。那么你需要在robots.txt文件里设置避免动态网页被蜘蛛索引，以确保这些网页不会被视为含重复内容。
robots.txt文件里还能够直接包含在sitemap文件的链接。
就像这样：Sitemap: http://www.cjzzc.com/sitemap.xml
目前对此表示支持的搜索引擎公司有Google, Yahoo, Ask and MSN。而中文搜索引擎公司，明显不在这个圈子内。这样做的好处就是，站长不用到每个搜索引擎的站长东西或许相似的站长渠道，去提交自己的sitemap文件，搜索引擎的蜘蛛自己就会抓取robots.txt文件，读取其间的sitemap路径，接着抓取其间相链接的网页。
合理运用robots.txt文件还能避免拜访时犯错。比方，不能让搜索者直接进入购物车页面。由于没有理由使购物车被录入，所以你能够在robots.txt文件里设置来阻止搜索者直接进入购物车页面。
五、robots协议文件的黑帽SEO效果
制止快照修改，要防止一切搜索引擎显现您网站的快照，请将此元符号置入网页部分：
要允许其他搜索引擎显现快照，但仅防止百度搜索引擎显现，请运用以下符号：
六、常见Robots名称
google蜘蛛：googlebot
百度蜘蛛：baiduspider
搜狗蜘蛛：sogouspider
360蜘蛛：360Spider
yahoo蜘蛛：slurp
alexa蜘蛛：ia_archiver
msn蜘蛛：msnbot
altavista蜘蛛：scooter
lycos蜘蛛：lycos_spider_(t-rex)
alltheweb蜘蛛：fast-webcrawler/
inktomi蜘蛛：slurp
七、robots协议的一些无法解决的问题
Robots协议并不是多么高档的技能，而仅仅互联网中一种各个机构互相尊重的协议，比方私家花园的门口挂着“闲人免进”，尊重者绕道而行，不尊重者仍然能够推门而入。目前，Robots协议在实际运用中，还存在一些无法解决的问题。
比方：robots.txt本身也是网站文件，也是需要抓取的，蜘蛛爬虫出于效率考虑，一般不会每次抓取网站网页之前都爬取一遍robots.txt，原本robots.txt更新就不频频。一般爬虫的做法是先抓取一次，解析后缓存下来，并且是相当长的时刻不会再次抓取robots.txt。假定网站办理员更新了robots.txt，修正了某些规矩，但是对爬虫来说并不会立刻收效，只有当爬虫下次抓取robots.txt之后才干看到最新的内容。为难的是，爬虫下次抓取robots.txt的时刻并不是由网站办理员操控的。所以，有些搜索引擎提供了web东西能够让网站办理员告诉搜索引擎那个url发生了改变，主张重新抓取。
注意，此处是主张，即使你告诉了搜索引擎，搜索引擎何时抓取仍然是不确定的，仅仅比完全不告诉要好点。至于好多少，那就看搜索引擎的良心和技能才能了。
在互联网的大部分公司，有些爬虫不太遵守或许完全忽略robots.txt，不扫除开发人员才能的问题，比方说底子不知道robots.txt。另外，本身robots.txt不是一种强制措施，也底子没有办法强制阻止爬虫抓取网站内容，当然假如网站有数据需要保密，有必要采纳加密的技能措施，比方说：用户验证，内容加密传输，ip白名单黑名单阻拦，拜访频率操控阻拦等等技能手段来对歹意爬取进行规避。
在互联网世界中，每天每时每刻都有不计其数的爬虫在日夜不息地爬取数据，其间歹意爬虫的数量远远高于非歹意爬虫。但是并不是每个爬虫都会自动遵守Robots协议。
歹意爬虫能够带来很多潜在威胁，比方电商网站的商品信息被爬取或许会被竞争对手利用，过多的爬虫还会占用带宽资源、乃至导致网站宕机。
反歹意爬虫是一件漫长而艰巨的任务，假如依托本身实力难以解决，能够凭借事务危险剖析渠道来反歹意爬虫，依据自己的需求来定制功用。并且关于歹意爬虫是能够对其进行电子取证，假如有涉及到对本身网站有形成经济损失的，能够对歹意爬虫所属公司个人进行申述要求赔偿的。