标签:爬虫相关的结果2条:

如何使用google analytics来跟踪搜索引擎蜘蛛的爬行日志

    之前我在看搜索引擎蜘蛛爬行记录时只能通过系统的日志来分析。对于系统日志的来说是不够直观,而且不便于对是时间段等来进行分析。而且一般的流量统计是不能统计到搜索引擎的爬虫记录。周未在家上网时,看到一篇介绍关于使用google analytics来追踪爬虫记录的方法,于是用tsov.net的站点来尝试了二三天后发现不错。这里把这篇介结利用google analytics追踪搜索引擎蜘蛛的爬行日志的方法收藏先。

    标签:google搜索爬虫analytics日志评论数:1发布于:2011-03-21 13:07:25

声讨百度爬虫不遵守搜索引擎robots.txt协议

    在昨天画了一张2009年的情人节贺卡,几个小时后发现百度已经收录了。今晚在用百度的图片搜索找情人节素材时发觉自已画的那个贺卡被百度的图片搜索收录。我清楚记得自已站点的robots.txt是禁止搜索引擎收录我的上传的图片目录。

    标签:robots协议爬虫评论数:2发布于:2009-02-11 22:27:57