如何编写和优化 WordPress 博客 robots.txt

无意中发现 robots.txt 内容变了,并且在博客根目录下找不到 robots.txt 文件。网上找了下,原来,如果没有这个文件,WordPress 会动态生成一个虚拟 robots.txt,通过网址(比如:https://cyhour.com/robots.txt)可以浏览到。

WordPress 动态生成的 robots.txt 内容如下:

User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php

优化 WordPress 博客 robots.txt

其实默认就好,要折腾的话可以优化一下:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /readme.html 
Disallow: /licence.txt 
Disallow: /wp-config-sample.php
Disallow: /refer/
Disallow: /search/
Disallow: /trackback/
Disallow: /comments/
Disallow: /attachment/
Disallow: /comments/feed
Disallow: /feed
Disallow: /*/feed
Disallow: /*/comment-page-*
Disallow: /*?replytocom=*
Disallow: /*/trackback
Disallow: /?s=*
Disallow: /*/?s=*\
Disallow: /wp-*.php
Disallow: /out/
Disallow: /go/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://cyhour.com/sitemap.xml

这是老头博客目前的 robots.txt,有需要参考一下。Disallow 禁止,Allow 允许。按需要增减即可。

readme.html、licence.txt、wp-config-sample.php 这三个文件,老头直接把它们重定向到首页了。

没有禁止任何蜘蛛,以前禁止了几个搜索引擎,比如 360。这货还真是守规矩,不知道什么时候放开了让 360 索引,现在 360 搜索 site:cyhour.com 发现它只收录了首页。

参考资料

利用Robots.txt优化你的WordPress站点

如何编写和优化WordPress网站的Robots.txt

除非注明,垃圾站文章均为网络收集,本文地址 https://cyhour.com/1262/,转载时烦请以链接形式注明原始出处。
声明:我们不销售主机,任何VPS主机均有跑路风险且需定期备份,防止数据丢失。信息以实际为准,评测仅供参考不代表权威!
🍄:Netflix 奈飞 YouTube 合租

Gravatar 头像被墙及解决方案 Gravatar 头像国内镜像地址大全

Gravatar 头像真是一言难尽,时而正常时而抽风时而无法访问……就一个 Gravatar 头像,这有啥好强(现代通假字)的呢?(据说是被其它服务连累?) 解决办法 - 调用 ssl/cn 头像链接 历史解决办法:调用 ssl 头像链接——https还是没被墙的,而且速度还不错,直接调用这个最简单了。主题 functi…
浏览: 93 标签:  , 

WordPress 5.0+ 禁用 Gutenberg & WordPress 5.8+ 禁用 Widget 块编辑器

2018.12.06,WordPress 5.0 发布,代号 Bebo。最大的亮(黑)点就是正式引入新的基于块(block-based)的编辑器 —— Gutenberg 编辑器,以及新的默认主题 —— Twenty Nineteen。 WordPress 5.0+ 禁用 Gutenberg 编辑器 第一时间升级,打开文章编辑,一股说不出的杯具感在心头……变化太大,心累…
浏览: 46 标签:  ,  ,  , 

Gridea 一个静态博客写作客户端 搭建免费静态博客

前几天折腾 Hugo,上手不难,建了个几乎零成本垃圾站,真香!Hugo 本地环境搭建比 Jekyll 简单,而 Gridea 比 Hugo 更简单,甚至,从功能上来说,Gridea 就是 Hugo GUI 版。 Gridea 简介 Gridea,一个静态博客写作客户端,小白也可以 GitHub Pages 搭建静态博客。开源、易用、强大。记录生…

斐讯 K3 路由器上车 简单折腾记录

一年前上过 K1、K2 的车,都安全下车,两个都高价专卖,目前还正常服役中。前阵子看博友 FROYO 双十一连上两趟车,忍不住上了 K3 的车,外加 K2。(2018.8 已翻车) 斐讯 K3 路由器上车 简单折腾记录 K3 上车前特意 Google 做了一下功课,看有没第三方固件可以刷,折腾方不方便,要不要拆机……结…
浏览: 91 标签:  , 
浏览: 86 标签:  , 

Comments:10

  1. 我好像从来没有优化过这个东西。

    2019.12.30 20:18 # 回复
    1楼
  2. 禁止了这么多

    2019.12.31 11:09 # 回复
    2楼
  3. 老杨上了google ad后,更新比以前勤快了。我以前robots.txt国内除了360、神马、搜狗、百度、头条、国搜,而国外除了谷歌、duckduckgo、Qwant、雅虎、必应,全都给我屏蔽了,后面想想静态页面反正都是展示出来的,又都全放开了

    2019.12.31 18:46 # 回复
    3楼
  4. google上搜你站的名字,搜索结果里第一条你的站没有内页推荐。。。然后推荐你把老杨博客这个关键字弄到第一,试试哈,老郑就算了。

    2020.01.04 01:47 # 回复
    4楼
    • @郑永 这个随缘吧,弄上去也没多大意义吧?还不如把广告文弄上去呢……囧。

      2020.01.04 04:20 # 回复

发表留言

Vultr 送$100,搬瓦工年付最低$49,优惠码 BWH3HYATVBJW,更多推荐VPS信息