【SEO教程】第二十课 robots协议之偷梁换柱-懒人模式 道勤网录制

quanshiyinian

这节课视频较长，加载稍慢，请大家耐心等待10-20秒中后观看！主讲内容：robots协议之偷梁换柱-懒人模式

（无法观看请刷新页面等待10-20秒，单击播放器右下角可全屏观看）

什么是Robots协议？

Robots协议也称为爬虫协议、机器人协议，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。

Robots协议一般是一个文本文件，命名为robots.txt并且存放在网站根目录。

Robots协议的作用：

1、告诉搜索引擎网站上面的页面哪些可以抓取，不该抓取的就不要抓取。

2、告诉搜索引擎可以重点或者首先抓取哪个页面，配合网站地图效果更佳。

如何设置Robots协议？

工具：http://tool.chinaz.com/robots/

Robots协议一般命名为robots.txt，存放在网站根目录。

备注：如果网站根目录没有robots.txt，那么说明该网站允许所有搜索引擎抓取。

如果无法播放，请点击此处在新窗口打开

如果无法播放，请点击此处在新窗口打开

高清视频下载地址： seo课程下载地址.txt (31 Bytes, 下载次数: 2, 售价: 15 金钱)

2015-1-7 16:15 上传

点击文件名下载附件
【SEO教程】第二十课 robots协议之偷梁换柱-懒人模式 道勤网录制 下面是robots协议常用的发给大家，一起学习交流：

【SEO教程】第二十课 robots协议之偷梁换柱-懒人模式 道勤网录制

下面把相关的课程资料也发给大家，

1. 最常用的 robots文件使用两条规则：User-Agent: （后面跟着允许的搜索引擎蜘蛛）
   
2. Disallow: （后面跟着要拦截的网页）
   
3. 具体详细写法有：
   
4. User-agent: * 这里的*代表的所有的搜索引擎种类，*是一个通配符
   
5. Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录
   
6. Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录
   
7. Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录 　　
   
8. Disallow: /ABC 这里定义是禁止爬寻ABC整个目录　
   
9. Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
   
10. Disallow: /*?* 禁止访问网站中所有的动态页面
    
11. Disallow: .jpg$ 禁止抓取网页所有的.jpg格式的图片
    
12. Disallow:/ab/adc.html 禁止爬寻ab文件夹下面的adc.html所有文件
    
13. -------------------------------------------------------------------------
    
14. 
    
15. 
    
16. 
    
17. 
    
18. 
    
19. Allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录
    
20. Allow: /tmp 这里定义是允许爬寻tmp的整个目录
    
21. Allow: .htm$ 仅允许访问以".htm"为后缀的URL。
    
22. Allow: .gif$ 允许抓取网页和gif格式图片例1.
    
23. User-agent: * Disallow: /禁止所有搜索引擎访问网站的任何部分
    
24. 
    
25. 
    
26. Allow: /tag.html

复制代码

1. #
   
2. # robots.txt for discuz! X3
   
3. #
   
4. 
   
5. User-agent: *
   
6. Disallow: /api/
   
7. Disallow: /data/
   
8. Disallow: /source/
   
9. Disallow: /install/
   
10. Disallow: /template/
    
11. Disallow: /config/
    
12. Disallow: /uc_client/
    
13. Disallow: /uc_server/
    
14. Disallow: /static/
    
15. Disallow: /admin.php
    
16. Disallow: /search.php
    
17. Disallow: /member.php
    
18. Disallow: /api.php
    
19. Disallow: /misc.php
    
20. Disallow: /connect.php
    
21. Disallow: /forum.php?mod=redirect*  论坛的一些跳转页面
    
22. Disallow: /forum.php?mod=post*   论坛发帖页面
    
23. Disallow: /home.php?mod=spacecp*   用户的个人资料页面
    
24. Disallow: /userapp.php?mod=app&*   用户应用的页面（就是那个很多游戏的云平台）
    
25. Disallow: /*?mod=misc*   提示的跳转页面
    
26. Disallow: /*?mod=attachment*    附件的页面
    
27. Disallow: /*mobile=yes*   手机浏览器的页面
    
28. Disallow: /*?*   禁止访问网站中所有的动态页面

复制代码

道勤主机提供365天*24小时全年全天无休、实时在线、零等待的售后技术支持。竭力为您免费处理您在使用道勤主机过程中所遇到的一切问题! 如果您是道勤主机用户，那么您可以通过QQ【792472177】、售后QQ【59133755】、旺旺【诠释意念】、微信：q792472177免费电话、后台提交工单这些方式联系道勤主机客服！ 如果您不是我们的客户也没问题，点击页面最右边的企业QQ在线咨询图标联系我们并购买后，我们为您免费进行无缝搬家服务，让您享受网站零访问延迟的迁移到道勤主机的服务！