为站点增加robots.txt文件

为站点增加robots.txt文件,这几天用BAIDU时,突然想到,如果我的隐藏日志中有相片,而给BAIDU爬虫收录到话就麻烦了(个人BLOG不在乎BAIDU的收录,只为自已服务的)。所以写了个ROBOTS.TXT文件。同时把BLOG相关的数据库目录呀什么的都不禁止搜索了。烦。
PS:关于ROBOTS.TXT文件的作用之类的,不明白的去网上SOU一下。

相关日志

发表于:2006-03-22 03:03:02 at 03:03 分类:工作 发表评论

新一篇:

旧一篇:

发表评论

(必填)

(必填)您的电子邮箱不会被公开。

Archives