首页 > 转载转贴 > WordPress抓取蜘蛛爬虫插件

WordPress抓取蜘蛛爬虫插件

2008年6月20日 admin 发表评论 阅读评论

使用说明：
将文件上传至/wp-content/plugins目录，后台启用该插件。
当有爬虫来过时，将会按照当天日期在主目录生成爬虫日志文件。
例如2008-04-27.txt文件。你可以通过访问http://www.fbics.org/2008-01-01.txt来查看。
所有日志记录在2008-01-01txt文件中，另外为了更方便更直观的分析每种爬虫的浏览历史，特意为google、baidu、yahoo生成专门的日志。
例如google爬虫日志的文件名为2008-01-01google.txt，以此类推baidu的为2008-01-01baidu.txt，yahoo的为2008-01-01yahoo.txt。

下载地址
插件作者爱链(http://www.alinks.cn)

分类: 转载转贴 标签: ,
  1. 痴情的猪
    2008年6月20日17:55 | #1
    回复 | 引用

    刚刚装上一分钟就有蜘蛛来了。给大家看看示范

    Time:2008-06-20 17:48:33 Robot:baidu address:220.181.32.48 User-Agent:Baiduspider+(+http://www.baidu.com/search/spider.htm) Referer: Request:/tag/不要在欺负陈冠希了
    Time:2008-06-20 17:53:18 Robot:baidu address:220.181.32.48 User-Agent:Baiduspider+(+http://www.baidu.com/search/spider.htm) Referer: Request:/tag/blog

  2. 小牛
    2008年6月20日17:56 | #2
    回复 | 引用

    好的

  3. chaos
    2008年6月20日17:57 | #3
    回复 | 引用

    不要
    习惯直接看APACHE日志

  4. bssn
    2008年6月22日00:30 | #4
    回复 | 引用

    啥也没找到阿……没这个链接吧……

  5. ocer
    2008年6月29日16:58 | #5
    回复 | 引用

    X你个MJJ

  1. 本文目前尚无任何 trackbacks 和 pingbacks.