采用批处理过滤大容量文本中相同的行

    因工作需要,要对几个几十M文本文件进行过滤掉内容中相同的行。 (大约有几百万行记录)
    本想写个ASP或php的文件来过滤,考虑需要进行几百万次的对比远算,不死机才怪。
    在网上查到,用批处理更高效。用法:以上保存为a.bat,则运行为a b.txt
    在一个8.28M,占有467149行的文本,
    测试环境:
    Inter(R) Pentium(R) Dual CPU E28180 @ 2.00GHz
    4G内存。
    大约需时11分钟。

相关文章
用批处理批量更改文件扩展名这世界不需要公平,也没有平等使用批处理实现mysql数据库备份与上传用批处理定时自动备份数据库的应用
    标签:批处理 发布于:2008-11-22 06:11:52

当前共有0条评论,我也要发表:

    我的名字:

    我的邮箱: