常阳时光

如何编写和优化 WordPress 博客 robots.txt

无意中发现 robots.txt 内容变了,并且在博客根目录下找不到 robots.txt 文件。网上找了下,原来,如果没有这个文件,WordPress 会动态生成一个虚拟 robots.txt,通过网址(比如:https://cyhour.com/robots.txt)可以浏览到。

WordPress 动态生成的 robots.txt 内容如下:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

优化 WordPress 博客 robots.txt

其实默认就好,要折腾的话可以优化一下:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /readme.html 
Disallow: /licence.txt 
Disallow: /wp-config-sample.php
Disallow: /refer/
Disallow: /search/
Disallow: /trackback/
Disallow: /comments/
Disallow: /attachment/
Disallow: /comments/feed
Disallow: /feed
Disallow: /*/feed
Disallow: /*/comment-page-*
Disallow: /*?replytocom=*
Disallow: /*/trackback
Disallow: /?s=*
Disallow: /*/?s=*\
Disallow: /wp-*.php
Disallow: /out/
Disallow: /go/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://cyhour.com/sitemap.xml

这是老杨博客目前的 robots.txt,有需要参考一下。Disallow 禁止,Allow 允许。按需要增减即可。

readme.html、licence.txt、wp-config-sample.php 这三个文件,老杨直接把它们重定向到首页了。

没有禁止任何蜘蛛,以前禁止了几个搜索引擎,比如 360。这货还真是守规矩,不知道什么时候放开了让 360 索引,现在 360 搜索 site:cyhour.com 发现它只收录了首页。

参考资料

利用Robots.txt优化你的WordPress站点

如何编写和优化WordPress网站的Robots.txt