采用批处理过滤大容量文本中相同的行

因工作需要,要对几个几十M文本文件进行过滤掉内容中相同的行。 (大约有几百万行记录)
本想写个ASP或php的文件来过滤,考虑需要进行几百万次的对比远算,不死机才怪。
在网上查到,用批处理更高效。用法:以上保存为a.bat,则运行为a b.txt
在一个8.28M,占有467149行的文本,
测试环境:
Inter(R) Pentium(R) Dual CPU E28180 @ 2.00GHz
4G内存。
大约需时11分钟。

相关日志

发表于:2008-11-22 06:11:52 at 06:11 分类:工作 发表评论 Tags:

发表评论

(必填)

(必填)您的电子邮箱不会被公开。

正在加载信息...

Archives