无意中发现 robots.txt 内容变了，并且在博客根目录下找不到 robots.txt 文件。网上找了下，原来，如果没有这个文件，WordPress 会动态生成一个虚拟 robots.txt，通过网址（比如：https://cyhour.com/robots.txt）可以浏览到。
WordPress 动态生成的 robots.txt 内容如下：
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php
优化 WordPress 博客 robots.txt
其实默认就好，要折腾的话可以优化一下：
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /readme.html
Disallow: /licence.txt
Disallow: /wp-config-sample.php
Disallow: /refer/
Disallow: /search/
Disallow: /trackback/
Disallow: /comments/
Disallow: /attachment/
Disallow: /comments/feed
Disallow: /feed
Disallow: /*/feed
Disallow: /*/comment-page-*
Disallow: /*?replytocom=*
Disallow: /*/trackback
Disallow: /?s=*
Disallow: /*/?s=*\
Disallow: /wp-*.php
Disallow: /out/
Disallow: /go/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://cyhour.com/sitemap.xml这是老头博客目前的 robots.txt，有需要参考一下。Disallow 禁止，Allow 允许。按需要增减即可。
readme.html、licence.txt、wp-config-sample.php 这三个文件，老头直接把它们重定向到首页了。
没有禁止任何蜘蛛，以前禁止了几个搜索引擎，比如 360。这货还真是守规矩，不知道什么时候放开了让 360 索引，现在 360 搜索 site:cyhour.com 发现它只收录了首页。
我好像从来没有优化过这个东西。
@张波博客 个人觉得禁止一些不该收录的地址还是有点好处的。
禁止了这么多
@奶爸建网站笔记 没有误伤吧？
老头上了google ad后，更新比以前勤快了。我以前robots.txt国内除了360、神马、搜狗、百度、头条、国搜，而国外除了谷歌、duckduckgo、Qwant、雅虎、必应，全都给我屏蔽了，后面想想静态页面反正都是展示出来的，又都全放开了
@浮游 人穷志短呗。不过也是没什么收入，就瞎折腾。
@老头 你这谦虚的，就当平衡一下站点开支，增加更新动力呗。
@浮游 也是，有收入才更有动力……
google上搜你站的名字，搜索结果里第一条你的站没有内页推荐。。。然后推荐你把老头博客这个关键字弄到第一，试试哈，老郑就算了。
@郑永 这个随缘吧，弄上去也没多大意义吧？还不如把广告文弄上去呢……囧。