为站点增加robots.txt文件

    为站点增加robots.txt文件,这几天用BAIDU时,突然想到,如果我的隐藏日志中有相片,而给BAIDU爬虫收录到话就麻烦了(个人BLOG不在乎BAIDU的收录,只为自已服务的)。所以写了个ROBOTS.TXT文件。同时把BLOG相关的数据库目录呀什么的都不禁止搜索了。烦。
    PS:关于ROBOTS.TXT文件的作用之类的,不明白的去网上SOU一下。

相关文章
网站改版策划要慎重[转载]如何有效确定网站关键词[转载]网站策划先来这10步[转载]三维地图asp全站防止注入的代码[转]一些常用的小技巧,收集一下[Flash技术]周一至周日的图片变换Staring Into Forever我的博客地图今天自已做了个用ASP调用雪人论坛的叶子layui中使用lay-verify进行非必填项校验时的大坑标点符号你用对了吗? 一起来学习中华人民共和国国家标准《标点符号用法》开源字体整理合集(部分不可商用)HTTPS的坑项目负责人应严格控制系统结构及让开发工程师严格遵循项目开发规范竟干些劳民伤财的事最近一周汇总(移动硬盘分区表损坏的解决、GODADDY停掉主机的解决)[转载]每个程序员都应该知道的福利收藏《互联网下的90后研究报告》QQ号码被盗经历
    发布于:2006-03-22 03:03:02

当前共有0条评论,我也要发表:

    我的名字:

    我的邮箱: