采用批处理过滤大容量文本中相同的行
因工作需要，要对几个几十M文本文件进行过滤掉内容中相同的行。 （大约有几百万行记录）
本想写个ASP或php的文件来过滤，考虑需要进行几百万次的对比远算，不死机才怪。
在网上查到，用批处理更高效。用法：以上保存为a.bat，则运行为a b.txt
在一个8.28M，占有467149行的文本，
测试环境：
Inter(R) Pentium(R) Dual CPU E28180 @ 2.00GHz
4G内存。
大约需时11分钟。
因工作需要，要对几个几十M文本文件进行过滤掉内容中相同的行。 （大约有几百万行记录）
本想写个ASP或php的文件来过滤，考虑需要进行几百万次的对比远算，不死机才怪。
在网上查到，用批处理更高效。用法：以上保存为a.bat，则运行为a b.txt
在一个8.28M，占有467149行的文本，
测试环境：
Inter(R) Pentium(R) Dual CPU E28180 @ 2.00GHz
4G内存。
大约需时11分钟。
最近评论
6、7年前的内容了，外链能不挂吗？哈哈。…
链接挂了…
Thank you and thank you!…
应该是你IP有其它人扫描过我的系统，被我系统拦截了。一般24小时就解封。…
有，不过主题是2012年的了，兼容性不好了。还要吗？…
你好,我用公司的网络打开你的博客很多都是提示ip在黑名单，可是我们公司是…
你好，时隔这些年，我有幸访问到您的博客，我很喜欢您主题的风格，请问主题包…
09年的时候电信就干过，不过都是些偏远三线城市…