如何编写和优化 WordPress 博客 robots.txt

无意中发现 robots.txt 内容变了,并且在博客根目录下找不到 robots.txt 文件。网上找了下,原来,如果没有这个文件,WordPress 会动态生成一个虚拟 robots.txt,通过网址(比如:https://cyhour.com/robots.txt)可以浏览到。

WordPress 动态生成的 robots.txt 内容如下:

User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php

优化 WordPress 博客 robots.txt

其实默认就好,要折腾的话可以优化一下:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /readme.html 
Disallow: /licence.txt 
Disallow: /wp-config-sample.php
Disallow: /refer/
Disallow: /search/
Disallow: /trackback/
Disallow: /comments/
Disallow: /attachment/
Disallow: /comments/feed
Disallow: /feed
Disallow: /*/feed
Disallow: /*/comment-page-*
Disallow: /*?replytocom=*
Disallow: /*/trackback
Disallow: /?s=*
Disallow: /*/?s=*\
Disallow: /wp-*.php
Disallow: /out/
Disallow: /go/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://cyhour.com/sitemap.xml

这是老杨博客目前的 robots.txt,有需要参考一下。Disallow 禁止,Allow 允许。按需要增减即可。

readme.html、licence.txt、wp-config-sample.php 这三个文件,老杨直接把它们重定向到首页了。

没有禁止任何蜘蛛,以前禁止了几个搜索引擎,比如 360。这货还真是守规矩,不知道什么时候放开了让 360 索引,现在 360 搜索 site:cyhour.com 发现它只收录了首页。

参考资料

利用Robots.txt优化你的WordPress站点

如何编写和优化WordPress网站的Robots.txt

除非注明,沙唐桔文章均为原创,本文地址 https://cyhour.com/1262/,转载时必须以链接形式注明原始出处。
声明:我们不销售主机,选主机需合法使用。任何主机需定期备份,防止数据丢失。信息以实际为准,评测仅供参考不代表权威!

Sublime Text 批量删除文件空白行

不知道为啥,新版本的 WordPress 安装完成后生成的 wp-config.php 文件会被隔行插入一行空行,另外,发现从后台上传本地主题 zip 压缩包进行安装,这个主题的所有文件都会被隔行插入一行空行,这是 bug?我现在用 Sublime Text 3 (和谐版)编辑主题文件,于是找了一下 Sublime Text 删除空行的方法,…
浏览: 37 标签: 

Sublime Text 3 热键失效

今天折腾博客,发现 Sublime Text 3 快速选中多个地方热键(Ctrl+Alt+UP/DOWN)失效,原本以为是老问题:英特尔图形属性占用快捷键,看了一下,并没有。 找了一圈,试了几个工具,没找到是哪个程序快捷键冲突。然后尝试使用 Windows Hotkey Explorer 找找。MD,这货安装完,打开,屏幕噼里啪啦…
浏览: 102 标签:  ,  ,  , 
浏览: 154 标签:  , 

Comments:10

  1. 我好像从来没有优化过这个东西。

    2019.12.30 20:18 # 回复
    1楼
  2. 禁止了这么多

    2019.12.31 11:09 # 回复
    2楼
  3. 老杨上了google ad后,更新比以前勤快了。我以前robots.txt国内除了360、神马、搜狗、百度、头条、国搜,而国外除了谷歌、duckduckgo、Qwant、雅虎、必应,全都给我屏蔽了,后面想想静态页面反正都是展示出来的,又都全放开了

    2019.12.31 18:46 # 回复
    3楼
  4. google上搜你站的名字,搜索结果里第一条你的站没有内页推荐。。。然后推荐你把老杨博客这个关键字弄到第一,试试哈,老郑就算了。

    2020.01.04 01:47 # 回复
    4楼
    • @郑永 这个随缘吧,弄上去也没多大意义吧?还不如把广告文弄上去呢……囧。

      2020.01.04 04:20 # 回复

发表留言

Vultr 送$100,搬瓦工年付最低$49,优惠码 BWH3HYATVBJW,更多推荐VPS信息