免费收录 全网行业领域精英人士必备导航,一站在手,天下我有!
当前位置:网站首页 > 文档 > 建站教程 > 正文

网站目录robots.txt大量常见写法示例

admin 2020-08-09 140 浏览 0 评论

如果允许所有搜索引擎访问网站的所有部分的话 我们可以建立一个空白的文本文档,命名为robots.txt放在网站的根目录下即可。

robots.txt写法如下:

User-agent: *
Disallow:12

或者

User-agent: *
Allow: /12

如果我们禁止所有搜索引擎访问网站的所有部分的话

robots.txt写法如下:

User-agent: *
Disallow: /12

如果我们需要某一个搜索引擎的抓取的话,比如百度,禁止百度索引我们的网站的话

robots.txt写法如下:

User-agent: Baiduspider
Disallow: /12

如果我们禁止Google索引我们的网站的话,其实跟示例3一样,就是User-agent:头文件的蜘蛛名字改成谷歌的Googlebot即可

robots.txt写法如下:

User-agent: Googlebot
Disallow: /12

如果我们禁止除Google外的一切搜索引擎索引我们的网站话

robots.txt写法如下:

User-agent: Googlebot
Disallow:
User-agent: *
Disallow: /1234

如果我们禁止除百度外的一切搜索引擎索引我们的网站的话

robots.txt写法如下:

User-agent: Baiduspider
Disallow:
User-agent: *
Disallow: /1234

如果我们需要禁止蜘蛛访问某个目录,比如禁止admin、css、images等目录被索引的话

robots.txt写法如下:

User-agent: *
Disallow: /css/
Disallow: /admin/
Disallow: /images/1234

如果我们允许蜘蛛访问我们网站的某个目录中的某些特定网址的话

robots.txt写法如下:

User-agent: *
Allow: /css/my
Allow: /admin/html
Allow: /images/index
Disallow: /css/
Disallow: /admin/
Disallow: /images/1234567

我们看某些网站的robots.txt里的Disallow或者Allow里会看很多的符号,比如问号星号什么的,如果使用“*”,主要是限制访问某个后缀的域名,禁止访问/html/目录下的所有以".htm"为后缀的URL(包含子目录)。

robots.txt写法如下:

User-agent: *
Disallow: /html/*.htm12

如果我们使用“$”的话是仅允许访问某目录下某个后缀的文件

robots.txt写法如下:

User-agent: *
Allow: .asp$
Disallow: /123

如果我们禁止索引网站中所有的动态页面(这里限制的是有“?”的域名,例如index.asp?id=1)

robots.txt写法如下:

User-agent: *
Disallow: /*?*12

有些时候,我们为了节省服务器资源,需要禁止各类搜索引擎来索引我们网站上的图片,这里的办法除了使用“Disallow: /images/”这样的直接屏蔽文件夹的方式之外,还可以采取直接屏蔽图片后缀名的方式。

如果我们禁止Google搜索引擎抓取我们网站上的所有图片(如果你的网站使用其他后缀的图片名称,在这里也可以直接添加)

robots.txt写法如下:

User-agent: Googlebot
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$123456

如果我们禁止百度搜索引擎抓取我们网站上的所有图片的话

robots.txt写法如下:

User-agent: Baidus
pider
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$1234567

除了百度之外和Google之外,禁止其他搜索引擎抓取你网站的图片

注意,在这里为了让各位看的更明白,因此使用一个比较笨的办法——对于单个搜索引擎单独定义。

robots.txt写法如下:

User-agent: Baiduspider
Allow: .jpeg$
Allow: .gif$
Allow: .png$
Allow: .bmp$
User-agent: Googlebot
Allow: .jpeg$
Allow: .gif$
Allow: .png$
Allow: .bmp$
User-agent: *
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$12345678910111213141516

仅仅允许百度抓取网站上的“JPG”格式文件

其他搜索引擎的办法也和这个一样,只是修改一下搜索引擎的蜘蛛名称即可。

robots.txt写法如下:

User-agent: Baiduspider
Allow: .jpg$
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$123456

仅仅禁止百度抓取网站上的“JPG”格式文件

robots.txt写法如下:

User-agent: Baiduspider
Disallow: .jpg$12

如果 ? 表示一个会话 ID,您可排除所有包含该 ID 的网址,确保 Googlebot 不会抓取重复的网页。但是,以 ? 结尾的网址可能是您要包含的网页版本。在此情况下,可与 Allow 指令配合使用。

robots.txt写法如下:

User-agent:*
Allow:/*?$
Disallow:/*?
Disallow:/ *?1234

一行将拦截包含 ? 的网址(具体而言,它将拦截所有以您的域名开头、后接任意字符串,然后是问号 (?),而后又是任意字符串的网址)。Allow: /*?$ 一行将允许包含任何以 ? 结尾的网址(具体而言,它将允许包含所有以您的域名开头、后接任意字符串,然后是问号 (?),问号之后没有任何字符的网址)。

如果我们想禁止搜索引擎对一些目录或者某些URL访问的话,可以截取部分的名字

robots.txt写法如下:

User-agent:*
Disallow: /plus/feedback.php?


相关推荐

Discuz! 系统如何设置帖子内图片显示适应大小
Discuz! 系统如何设置帖子内图片显示适应大小

Discuz!中默认帖内图片最大宽度是600px,当用户需要在发表的帖子内发表宽度大于600px的图片时,可以把图片显示宽度放大,防止图片被压缩导致失真...

4个月前 (11-09) admin

Discuz开启板块图片列表模式,显示不了图片解决方法
Discuz开启板块图片列表模式,显示不了图片解决方法

在discuz中如果你的图片板块一直没开启图片列表模式,突然开启的话默认缩略图是不显示的,这种情况下需要手动更新一下即可。后台打开工具,更新缓存,找到重建主题封...

4个月前 (11-09) admin

Linux配置实现免密钥登录过程解析

Linux配置实现免密钥登录过程解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下1.ssh命令在linux中,可以通过ssh命令来登录另一台服务器...

最全Linux常用命令大全

最近都在和Linux打交道,感觉还不错。我觉得Linux相比windows比较麻烦的就是很多东西都要用命令来控制,当然,这也是很多人喜欢linux的原因,比较短小但却功能强大。我将我了解到的命令列举一...

网站目录robots.txt大量常见写法示例

如果允许所有搜索引擎访问网站的所有部分的话我们可以建立一个空白的文本文档,命名为robots.txt放在网站的根目录下即可。robots.txt写法如下:User-agent:*Disallow:...

宝塔Linux面板怎么设置404页面?
宝塔Linux面板怎么设置404页面?

大家知道默认的404页面对搜索引擎不友好,怎么修改默认的404页面呢?404默认页面首先这个要看你网站的服务器。服务器不同设置方式也不同,有的是Windows系...

7个月前 (07-30) admin

YGBOOK小说系统后台有采集到书,前台不显示
YGBOOK小说系统后台有采集到书,前台不显示

1.后台有采集到书,前台不显示答:所有小说只有有内容才可以显示在前台,有内容指有小说信息,和章节列表等。可以在后台采集设置,批量处理文章信息来解决前台没书2.主...

7个月前 (07-30) admin

最新YGBOOK小说系统使用设置修改说明

这几天在折腾这个系统怎么使用。到目前遇到的一些问题,这里也就记录下。给使用的小伙伴提个醒,免得再折腾。1、YGBOOK小说系统伪静态nginx服务器伪静态规则 location /...

Linux常用命令:chmod修改文件权限 777

chmod777 文件或目录示例:chmod 777/wwwroot/abc运行命令后,abc文件夹(目录)的权限就被修改为777(可读可写可执行)。如果是Ubuntu系...

Discuz!论坛会员头像不显示的解决方法!
Discuz!论坛会员头像不显示的解决方法!

用户登录上去,数据读取无误,但是会员头像处,不能显示,打叉!登录后台,发现点击“UCenter”不能显示,提示“NotFound。。。”错误!无所谓,不能用“...

7个月前 (07-25) admin

取消回复欢迎 发表评论: