robots 的基本写法wordpress
发表时间:2011-1-21 评论:0 点击 2,835+
robots.txt 对于seo也是必不可少的，robots.txt 就是搜索引擎在访问你网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛在服务器上什么文件是可以被查看。当搜索蜘蛛访问时，它会首先检查该站点根目录下是否有robots.txt，如果存在，搜索机器人就会按照该文件中的内容来访问。如果该文件不存在，所有的搜索蜘蛛将会访问你网站所以能够访问的的内容。
1. 禁止所有搜索引擎访问网站的任何部分
User-agent: *
Disallow: /
2. 允许所有的robot访问
(或者也可以建一个空文件 "/robots.txt")
User-agent: *
Disallow:
或者
User-agent: *
Allow: /
3. 仅禁止搜索蜘蛛访问您的网站
User-agent: *
Disallow: /
4. 仅允许搜索蜘蛛访问您的网站
User-agent: *
Disallow:
User-agent: *
Disallow: /
5. 禁止搜索蜘蛛访问特定目录
在这个例子中，该网站有三个目录对搜索引擎的访问做了限制，即robot不会访问这三个目录。需要注意的是对每一个目录必须分开声明，而不能写成 "Disallow: /cgi-bin/ /tmp/"。
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
6. 允许访问特定目录中的部分url
User-agent: *
Allow: /cgi-bin/see
Allow: /tmp/hi
Allow: /~joe/look
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
7. 使用"*"限制访问url
禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
User-agent: *
Disallow: /cgi-bin/*.htm
8. 使用"$"限制访问url
仅允许访问以".htm"为后缀的URL。
User-agent: *
Allow: .htm$
Disallow: /
9. 禁止访问网站中所有的动态页面
User-agent: *
Disallow: /*?*
10. 禁止搜索蜘蛛抓取网站上所有图片
仅允许抓取网页，禁止抓取任何图片。
User-agent: *
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.gif$
Disallow: /*.png$
Disallow: /*.bmp$
11. 仅允许搜索蜘蛛抓取网页和.gif格式图片
允许抓取网页和gif格式图片，不允许抓取其他格式图片
User-agent: *
Allow: /*.gif$
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.png$
Disallow: /*.bmp$
12. 仅禁止搜索蜘蛛抓取.jpg格式图片
User-agent: *
Disallow: /*.jpg$
上面说了一些简单的方法，接下来举例:以wordpress 为例；
一般的写法 把不允许的目录列出来
User-agent: *
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-includes
Disallow: /author/
Disallow: /feed
Disallow: /comments
Disallow: /?s=
Sitemap: https://log.pub/sitemap.xml
法2 写法
User-agent: *
Disallow: /wp-* （禁止所有wp-开头的文件）
Allow: /wp-content/uploads/（开放uploads目录，一般上传的图片、文件都是默认在这里）
Disallow: /author/
Disallow: /*.php$
Disallow: /*.inc$
Disallow: /*.js$
Disallow: /*.css$
Disallow: /?s=
Sitemap: http://haoma.pub/sitemap.xml
法3 写法 （更细一点）
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-*
Allow: /wp-content/uploads/
Disallow: /feed/
Disallow: /comments/feed
Disallow: /trackback
Disallow: */trackback/
Disallow: /category/*
Disallow: /author/
Disallow: /?s=
Disallow: /page/
Disallow: /tag/
Disallow: /search/
Disallow: /*.css$
Disallow: /*.php$
Disallow: /*.cgi$
Disallow: /*.js$
Disallow: /*.wmv$
Disallow: /*.mp3$
Disallow: /*.avi$
Sitemap: http://haoma.pub/sitemap.xml
以上的方法并不是适合所有的人，需要自己看情况而定。主要是用好了Disallow、Allow就行。
0
0