采用批处理过滤大容量文本中相同的行
因工作需要,要对几个几十M文本文件进行过滤掉内容中相同的行。 (大约有几百万行记录)
本想写个ASP或php的文件来过滤,考虑需要进行几百万次的对比远算,不死机才怪。
在网上查到,用批处理更高效。用法:以上保存为a.bat,则运行为a b.txt
在一个8.28M,占有467149行的文本,
测试环境:
Inter(R) Pentium(R) Dual CPU E28180 @ 2.00GHz
4G内存。
大约需时11分钟。
-
标签:批处理 发布于:2008-11-22 06:11:52
当前共有0条评论,我也要发表: