如何编写和优化 WordPress 博客 robots.txt

无意中发现 robots.txt 内容变了,并且在博客根目录下找不到 robots.txt 文件。网上找了下,原来,如果没有这个文件,WordPress 会动态生成一个虚拟 robots.txt,通过网址(比如:https://cyhour.com/robots.txt)可以浏览到。

WordPress 动态生成的 robots.txt 内容如下:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

优化 WordPress 博客 robots.txt

其实默认就好,要折腾的话可以优化一下:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /readme.html 
Disallow: /licence.txt 
Disallow: /wp-config-sample.php
Disallow: /refer/
Disallow: /search/
Disallow: /trackback/
Disallow: /comments/
Disallow: /attachment/
Disallow: /comments/feed
Disallow: /feed
Disallow: /*/feed
Disallow: /*/comment-page-*
Disallow: /*?replytocom=*
Disallow: /*/trackback
Disallow: /?s=*
Disallow: /*/?s=*\
Disallow: /wp-*.php
Disallow: /out/
Disallow: /go/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://cyhour.com/sitemap.xml

这是老杨博客目前的 robots.txt,有需要参考一下。Disallow 禁止,Allow 允许。按需要增减即可。

readme.html、licence.txt、wp-config-sample.php 这三个文件,老杨直接把它们重定向到首页了。

没有禁止任何蜘蛛,以前禁止了几个搜索引擎,比如 360。这货还真是守规矩,不知道什么时候放开了让 360 索引,现在 360 搜索 site:cyhour.com 发现它只收录了首页。

 1262-360-1

参考资料

利用Robots.txt优化你的WordPress站点

如何编写和优化WordPress网站的Robots.txt

除非注明,常阳时光文章均为原创,本文地址 https://cyhour.com/1262/AMP 移动加速版本)转载时必须以链接形式注明原始出处。
Vultr 送$25,搬瓦工年付最低$49,优惠码 BWH3HYATVBJW,更多推荐VPS信息,或支持老杨
Views: 800 Tags:  , 

Comments:10

  1. 我好像从来没有优化过这个东西。

    2019.12.30 20:18 # 回复
    1楼
  2. 禁止了这么多

    2019.12.31 11:09 # 回复
    2楼
  3. 老杨上了google ad后,更新比以前勤快了。我以前robots.txt国内除了360、神马、搜狗、百度、头条、国搜,而国外除了谷歌、duckduckgo、Qwant、雅虎、必应,全都给我屏蔽了,后面想想静态页面反正都是展示出来的,又都全放开了

    2019.12.31 18:46 # 回复
    3楼
  4. google上搜你站的名字,搜索结果里第一条你的站没有内页推荐。。。然后推荐你把老杨博客这个关键字弄到第一,试试哈,老郑就算了。

    2020.01.04 01:47 # 回复
    4楼
    • @郑永 这个随缘吧,弄上去也没多大意义吧?还不如把广告文弄上去呢……囧。

      2020.01.04 04:20 # 回复

发表留言

Vultr 送$25,搬瓦工年付最低$49,优惠码 BWH3HYATVBJW,更多推荐VPS信息