采用批处理过滤大容量文本中相同的行
因工作需要,要对几个几十M文本文件进行过滤掉内容中相同的行。 (大约有几百万行记录)
本想写个ASP或php的文件来过滤,考虑需要进行几百万次的对比远算,不死机才怪。
在网上查到,用批处理更高效。用法:以上保存为a.bat,则运行为a b.txt
在一个8.28M,占有467149行的文本,
测试环境:
Inter(R) Pentium(R) Dual CPU E28180 @ 2.00GHz
4G内存。
大约需时11分钟。
因工作需要,要对几个几十M文本文件进行过滤掉内容中相同的行。 (大约有几百万行记录)
本想写个ASP或php的文件来过滤,考虑需要进行几百万次的对比远算,不死机才怪。
在网上查到,用批处理更高效。用法:以上保存为a.bat,则运行为a b.txt
在一个8.28M,占有467149行的文本,
测试环境:
Inter(R) Pentium(R) Dual CPU E28180 @ 2.00GHz
4G内存。
大约需时11分钟。
最近评论
6、7年前的内容了,外链能不挂吗?哈哈。…
链接挂了…
Thank you and thank you!…
应该是你IP有其它人扫描过我的系统,被我系统拦截了。一般24小时就解封。…
有,不过主题是2012年的了,兼容性不好了。还要吗?…
你好,我用公司的网络打开你的博客很多都是提示ip在黑名单,可是我们公司是…
你好,时隔这些年,我有幸访问到您的博客,我很喜欢您主题的风格,请问主题包…
09年的时候电信就干过,不过都是些偏远三线城市…