标签: 爬虫蜘蛛

不小心把 Feedly 屏蔽掉

昨天 @老灵 QQ 说 Feedly 抓取不到老杨博客了,先是一愣,后来想想,可能是前阵子折腾,把一些「垃圾」蜘蛛屏蔽掉,把 Feedly 误伤。 找到之前添加的代码,果然,Feedly、FeedDemon 都被干掉了,囧。目前在用代码,丢到 WordPress 主题 functions.php 文件即可。(php7.3 实测可用,低版本没有测试…
浏览: 76 标签:  ,  ,  , 

PHP 判断是否爬虫蜘蛛

我们可以通过 HTTP_USER_AGENT 来判断是否是蜘蛛,搜索引擎的蜘蛛都有自己特有标识,代码改自网络,记录一下。 代码一:is_crawler 来自:https://gist.github.com/zhangguiqiang/2859126 //判断是否爬虫蜘蛛 https://gist.github.com/zhangguiqiang/2859126if ( !function_exists( 'isCrawl…
浏览: 49 标签:  ,  ,