标签:robots相关的结果1条:

声讨百度爬虫不遵守搜索引擎robots.txt协议

    在昨天画了一张2009年的情人节贺卡,几个小时后发现百度已经收录了。今晚在用百度的图片搜索找情人节素材时发觉自已画的那个贺卡被百度的图片搜索收录。我清楚记得自已站点的robots.txt是禁止搜索引擎收录我的上传的图片目录。

    标签:robots协议爬虫评论数:2发布于:2009-02-11 22:27:57