【收藏版】最快的大文本去重复，1G 3000+W行21秒支持4G+

神女软件定制 · 发表于 2021-12-13 17:27:08

64位
支持大于4G文件
带处理进度
测试1G，3356W行21秒，测试用文本（无重复）
exe163k
具体能处理多大文本，取决于剩余可用内存

下载：

大文本去重_x64.zip (128.08 KB, 下载次数: 1052)

管理把前面那个帖子删一下，这个帖子留着。那个帖子，我传rar始终传不上，就点了保存草稿，不知道怎么就发布了，那个帖子没有传附件。

瓶中仙子 · 发表于 2021-12-13 17:39:17

厉害了，感谢分享

lizebin90 · 发表于 2021-12-13 18:40:19

筛选完的文本会不会全部汇总成一份保存起来下次跟新文本一起对比

神女软件定制 · 发表于 2021-12-13 18:42:36

lizebin90 发表于 2021-12-13 18:40
筛选完的文本会不会全部汇总成一份保存起来下次跟新文本一起对比

源文本不会修改，保存出一份没有重复的，和一份包含剔除行的。
不可以2个文本一起对比

幻月工作室 · 发表于 2021-12-14 09:51:09

纯内存去重速度确实能快点，但处理不了太大的文本，1G的文本最起码将近3G的内存消耗，4G文本没个16G+内存搞不下来，8G的文本纯内存就不要想了

yuan1 · 发表于 2021-12-14 15:25:41

感谢分享

神女软件定制 · 发表于 2021-12-14 16:32:04

幻月工作室发表于 2021-12-14 09:51
纯内存去重速度确实能快点，但处理不了太大的文本，1G的文本最起码将近3G的内存消耗，4G文本没个16G+内存搞 ...

1G应该要2.2G内存，nG 2.2nG

幻月工作室 · 发表于 2021-12-14 17:26:17

神一样的女人发表于 2021-12-14 16:32
1G应该要2.2G内存，nG 2.2nG

不是这么算的，你实测一下看看吧

神女软件定制 · 发表于 2021-12-14 17:51:31

幻月工作室发表于 2021-12-14 17:26
不是这么算的，你实测一下看看吧

…………

神女软件定制 · 发表于 2021-12-14 17:55:43

幻月工作室发表于 2021-12-14 17:26
不是这么算的，你实测一下看看吧

除了vector内存不是分配的，其他内存都是我分配的，可能vector会预申请一部分空间，可能2.2这个系数，还会大一点
但一定是线性增长的

		自动登录	找回密码
密码			注册

[优秀原创软件] 【收藏版】最快的大文本去重复，1G 3000+W行21秒支持4G+