如何编写和优化 WordPress 博客 robots.txt

无意中发现 robots.txt 内容变了,并且在博客根目录下找不到 robots.txt 文件。网上找了下,原来,如果没有这个文件,WordPress 会动态生成一个虚拟 robots.txt,通过网址(比如:https://cyhour.com/robots.txt)可以浏览到。

WordPress 动态生成的 robots.txt 内容如下:

User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php

优化 WordPress 博客 robots.txt

其实默认就好,要折腾的话可以优化一下:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /readme.html 
Disallow: /licence.txt 
Disallow: /wp-config-sample.php
Disallow: /refer/
Disallow: /search/
Disallow: /trackback/
Disallow: /comments/
Disallow: /attachment/
Disallow: /comments/feed
Disallow: /feed
Disallow: /*/feed
Disallow: /*/comment-page-*
Disallow: /*?replytocom=*
Disallow: /*/trackback
Disallow: /?s=*
Disallow: /*/?s=*\
Disallow: /wp-*.php
Disallow: /out/
Disallow: /go/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://cyhour.com/sitemap.xml

这是老头博客目前的 robots.txt,有需要参考一下。Disallow 禁止,Allow 允许。按需要增减即可。

readme.html、licence.txt、wp-config-sample.php 这三个文件,老头直接把它们重定向到首页了。

没有禁止任何蜘蛛,以前禁止了几个搜索引擎,比如 360。这货还真是守规矩,不知道什么时候放开了让 360 索引,现在 360 搜索 site:cyhour.com 发现它只收录了首页。

参考资料

利用Robots.txt优化你的WordPress站点

如何编写和优化WordPress网站的Robots.txt

除非注明,垃圾站文章均为网络收集,本文地址 https://cyhour.com/1262/,转载时烦请以链接形式注明原始出处。
声明:我们不销售主机,任何VPS主机均有跑路风险且需定期备份,防止数据丢失。信息以实际为准,评测仅供参考不代表权威!
🍄:Netflix 奈飞 YouTube 合租

WordPress 数据库常用 SQL 语句

WordPress 数据库存储了站点所有信息,数据库对站点来说至关重要,一般情况下不要折腾数据库。但是很多情况下,使用 SQL 语句批量修改站点内容,大大提高效率。下面 SQL 语句均收集自网络,操作需谨慎。所有的SQL语句都是假定你的数据库的前缀是"wp_" ,如果你使用不同的表前缀,请自行修改。 温馨…
浏览: 112 标签:  ,  , 

Bitcron 初体验

去年看 UNEE 博主 Bitcron 体验文 的时候就申请过邀请码,不过发了两次邮件都没要到邀请码。反正也只是体验一下,也就作罢了。 Farbox 很久以前开始用 Farbox,当然了,一直只是试用状态程度的试用。比如现在还在用:参观一下。Bitcron 很像 Farbox,前者可以看作是后者的升级版? 从 FarBox…
浏览: 84 标签:  ,  , 

WordPress 文章 tag 标签使用 ID 形式固定链接

WordPress 设置中可以设定使用 post_id 作为文章/页面「固定链接」形式,但是无法设置文章 tag 标签也使用 ID 形式固定链接。 WordPress 文章 tag 标签的固定链接默认使用标签的别名,如果标签没有设置别名,并且标签名字带中文,那么固定链接就会带有中文,然后被 urlencode 转义成类似下面的…
浏览: 31 标签:  ,  ,  , 

希捷 西数 东芝 SMR 叠瓦式硬盘完整列表 硬盘购买指南

CMR(Conventional Magnetic Recording)又称作 PMR(Perpendicular Magnetic Recording)垂直写入技术,这是传统硬盘技术。SMR(Shingled Magneting Recording),叠瓦式记录技术,可以提高储存数据资料密度,从而提高硬盘储存容量。 SMR 叠瓦式硬盘优势在于大容量、低价格(性价比更高),缺点是…
浏览: 139 标签:  , 

Comments:10

  1. 我好像从来没有优化过这个东西。

    2019.12.30 20:18 # 回复
    1楼
  2. 禁止了这么多

    2019.12.31 11:09 # 回复
    2楼
  3. 老杨上了google ad后,更新比以前勤快了。我以前robots.txt国内除了360、神马、搜狗、百度、头条、国搜,而国外除了谷歌、duckduckgo、Qwant、雅虎、必应,全都给我屏蔽了,后面想想静态页面反正都是展示出来的,又都全放开了

    2019.12.31 18:46 # 回复
    3楼
  4. google上搜你站的名字,搜索结果里第一条你的站没有内页推荐。。。然后推荐你把老杨博客这个关键字弄到第一,试试哈,老郑就算了。

    2020.01.04 01:47 # 回复
    4楼
    • @郑永 这个随缘吧,弄上去也没多大意义吧?还不如把广告文弄上去呢……囧。

      2020.01.04 04:20 # 回复

发表留言

Vultr 送$100,搬瓦工年付最低$49,优惠码 BWH3HYATVBJW,更多推荐VPS信息