robots 的基本写法wordpress

作者:admin发表时间:2011-1-21 评论:0 点击 2,361+

robots.txt 对于seo也是必不可少的,robots.txt 就是搜索引擎在访问你网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛在服务器上什么文件是可以被查看。当搜索蜘蛛访问时,它会首先检查该站点根目录下是否有robots.txt,如果存在,搜索机器人就会按照该文件中的内容来访问。如果该文件不存在,所有的搜索蜘蛛将会访问你网站所以能够访问的的内容。

1. 禁止所有搜索引擎访问网站的任何部分

User-agent: *
 
Disallow: /
 

2. 允许所有的robot访问

(或者也可以建一个空文件 "/robots.txt")

User-agent: *
 
Disallow:
 

或者

User-agent: *
 
Allow: /
 

3. 仅禁止搜索蜘蛛访问您的网站

User-agent: *
 
Disallow: /
 

4. 仅允许搜索蜘蛛访问您的网站

User-agent: *
 
Disallow:
 
User-agent: *
 
Disallow: /
 

5. 禁止搜索蜘蛛访问特定目录

在这个例子中,该网站有三个目录对搜索引擎的访问做了限制,即robot不会访问这三个目录。需要注意的是对每一个目录必须分开声明,而不能写成 "Disallow: /cgi-bin/ /tmp/"。

User-agent: *
 
Disallow: /cgi-bin/
 
Disallow: /tmp/
 
Disallow: /~joe/
 

6. 允许访问特定目录中的部分url

User-agent: *
 
Allow: /cgi-bin/see
 
Allow: /tmp/hi
 
Allow: /~joe/look
 
Disallow: /cgi-bin/
 
Disallow: /tmp/
 
Disallow: /~joe/
 

7. 使用"*"限制访问url

禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。

User-agent: *
 
Disallow: /cgi-bin/*.htm
 

8. 使用"$"限制访问url

仅允许访问以".htm"为后缀的URL。

User-agent: *
 
Allow: .htm$
 
Disallow: /
 

9. 禁止访问网站中所有的动态页面

User-agent: *
 
Disallow: /*?*
 

10. 禁止搜索蜘蛛抓取网站上所有图片

仅允许抓取网页,禁止抓取任何图片。

User-agent: *
 
Disallow: /*.jpg$
 
Disallow: /*.jpeg$
 
Disallow: /*.gif$
 
Disallow: /*.png$
 
Disallow: /*.bmp$
 

11. 仅允许搜索蜘蛛抓取网页和.gif格式图片

允许抓取网页和gif格式图片,不允许抓取其他格式图片

User-agent: *
 
Allow: /*.gif$
 
Disallow: /*.jpg$
 
Disallow: /*.jpeg$
 
Disallow: /*.png$
 
Disallow: /*.bmp$
 

12. 仅禁止搜索蜘蛛抓取.jpg格式图片

User-agent: *
 
Disallow: /*.jpg$
 

上面说了一些简单的方法,接下来举例:以wordpress 为例;

一般的写法 把不允许的目录列出来

User-agent: *
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-includes
Disallow: /author/
Disallow: /feed
Disallow: /comments
Disallow: /?s=
Sitemap: https://log.pub/sitemap.xml

法2 写法

User-agent: *
Disallow: /wp-* (禁止所有wp-开头的文件)
Allow: /wp-content/uploads/(开放uploads目录,一般上传的图片、文件都是默认在这里)
Disallow: /author/
Disallow: /*.php$
Disallow: /*.inc$
Disallow: /*.js$
Disallow: /*.css$
Disallow: /?s=
Sitemap: http://log.pub/sitemap.xml

法3 写法 (更细一点)

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-*
Allow: /wp-content/uploads/
Disallow: /feed/
Disallow: /comments/feed
Disallow: /trackback
Disallow: */trackback/
Disallow: /category/*
Disallow: /author/
Disallow: /?s=
Disallow: /page/
Disallow: /tag/
Disallow: /search/
Disallow: /*.css$
Disallow: /*.php$
Disallow: /*.cgi$
Disallow: /*.js$
Disallow: /*.wmv$
Disallow: /*.mp3$
Disallow: /*.avi$
Sitemap: http://log.pub/sitemap.xml

以上的方法并不是适合所有的人,需要自己看情况而定。主要是用好了Disallow、Allow就行。

顶一下 0 踩一下 0

你可能对以下内容感兴趣!

  1. 谷歌打不开,wordpress后台反应慢
  2. wordpress免费的备份插件BackUpWor...
  3. 谈一谈让wordpress更安全
  4. wordpress添加自定义默认头像
  5. wordpress本地测试站开启伪静态
  6. 修改wordpress官方twentyeleven...
  7. 给wordpress友情链接页面添加Favicon...
  8. JQuery和CSS 版wordpress 弹性伸...

发表评论

*

w_0002.gif w_0009.gif w_0007.gif w_0011.gif w_0005.gif w_0008.gif w_0010.gif w_0003.gif w_0012.gif w_0001.gif w_0006.gif