精易论坛

标题: 【收藏版】最快的大文本去重复，1G 3000+W行21秒支持4G+ [打印本页]

作者: 神女软件定制 时间: 2021-12-13 17:27
标题: 【收藏版】最快的大文本去重复，1G 3000+W行21秒支持4G+
64位
支持大于4G文件
带处理进度
测试1G，3356W行21秒，测试用文本（无重复）
exe163k
具体能处理多大文本，取决于剩余可用内存

下载：

大文本去重_x64.zip (128.08 KB, 下载次数: 1051)

管理把前面那个帖子删一下，这个帖子留着。那个帖子，我传rar始终传不上，就点了保存草稿，不知道怎么就发布了，那个帖子没有传附件。

21s.jpg (47.62 KB, 下载次数: 1)

作者: 瓶中仙子 时间: 2021-12-13 17:39
厉害了，感谢分享

作者: lizebin90 时间: 2021-12-13 18:40
筛选完的文本会不会全部汇总成一份保存起来下次跟新文本一起对比

作者: 神女软件定制 时间: 2021-12-13 18:42

lizebin90 发表于 2021-12-13 18:40
筛选完的文本会不会全部汇总成一份保存起来下次跟新文本一起对比

源文本不会修改，保存出一份没有重复的，和一份包含剔除行的。
不可以2个文本一起对比

作者: 幻月工作室 时间: 2021-12-14 09:51
纯内存去重速度确实能快点，但处理不了太大的文本，1G的文本最起码将近3G的内存消耗，4G文本没个16G+内存搞不下来，8G的文本纯内存就不要想了

作者: yuan1 时间: 2021-12-14 15:25
感谢分享

作者: 神女软件定制 时间: 2021-12-14 16:32

幻月工作室发表于 2021-12-14 09:51
纯内存去重速度确实能快点，但处理不了太大的文本，1G的文本最起码将近3G的内存消耗，4G文本没个16G+内存搞 ...

1G应该要2.2G内存，nG 2.2nG

作者: 幻月工作室 时间: 2021-12-14 17:26

神一样的女人发表于 2021-12-14 16:32
1G应该要2.2G内存，nG 2.2nG

不是这么算的，你实测一下看看吧

作者: 神女软件定制 时间: 2021-12-14 17:51

幻月工作室发表于 2021-12-14 17:26
不是这么算的，你实测一下看看吧

…………

作者: 神女软件定制 时间: 2021-12-14 17:55

幻月工作室发表于 2021-12-14 17:26
不是这么算的，你实测一下看看吧

除了vector内存不是分配的，其他内存都是我分配的，可能vector会预申请一部分空间，可能2.2这个系数，还会大一点
但一定是线性增长的

作者: fyqjfb 时间: 2021-12-18 10:31
感谢分享！

作者: Sir928 时间: 2021-12-23 09:19
确认过眼神是神一样的女人~

作者: 风清云游 时间: 2021-12-23 12:02

幻月工作室发表于 2021-12-14 09:51
纯内存去重速度确实能快点，但处理不了太大的文本，1G的文本最起码将近3G的内存消耗，4G文本没个16G+内存搞 ...

1g的文本额外消耗高于1g 这个思路本身不可取

作者: 神女软件定制 时间: 2021-12-23 13:12

风清云游发表于 2021-12-23 12:02
1g的文本额外消耗高于1g 这个思路本身不可取

一般这种同时需要兼顾速度和处理大小的，都会此消彼长，不可兼得

作者: 风清云游 时间: 2021-12-23 14:11
本帖最后由风清云游于 2021-12-23 15:18 编辑

神一样的女人发表于 2021-12-23 13:12
一般这种同时需要兼顾速度和处理大小的，都会此消彼长，不可兼得

呃，，，鱼和熊掌，，，
你这是都不要的节奏，，，

作者: 神女软件定制 时间: 2021-12-23 14:56

风清云游发表于 2021-12-23 14:11
呃，，，鱼和熊掌，，，
你这是都不要的节奏，，，

…………

作者: fyqjfb 时间: 2021-12-28 10:07
感谢分享！

作者: a617273503 时间: 2021-12-29 17:41
全读到内存我想都没想过确实快不少我1300万行用映射方法252秒但是支持大文件

作者: wjswmds 时间: 2022-1-18 22:00
很不错，支持下

作者: liangyuhong 时间: 2022-5-12 20:00
看看大文本效果。。

作者: hmwei66 时间: 2022-6-8 19:18
下载试试

作者: 飞梦创意 时间: 2022-6-16 01:37
下载玩玩，感谢分享

作者: 流云沙海 时间: 2022-6-17 18:26
666666666666666

作者: 王摇摆 时间: 2022-7-3 08:08
感谢分享

作者: HuangQAQ 时间: 2022-7-3 20:42
11111111111111111

作者: 无尽的 时间: 2022-8-17 20:11
不错的工具

作者: Awei2427 时间: 2022-8-18 14:33
支持支持支持

作者: jingyi66 时间: 2022-8-18 14:35
很好用的工具，支持支持支持

作者: 意大利炮 时间: 2022-9-27 10:44
好用的工具

作者: yangdoudou 时间: 2022-9-28 08:39
测试1G，3356W行21秒，测试用文本（无重复）

作者: hongsun2016 时间: 2022-9-28 15:06
谢谢分享！

作者: kanhaiyouyue 时间: 2022-9-28 15:12
666666666666666666666666666666666666

作者: aadada 时间: 2022-10-6 02:01
速度如何了

作者: Anleton 时间: 2022-10-26 08:26
大佬，这个是易语言写的吗，想知道算法是什么，或者四路是什么，能达到这么快的速度

作者: jingyi66 时间: 2022-10-27 14:20
前来看看！

作者: jiangbo88 时间: 2022-10-27 16:25
666666666666666666

作者: jin1oo1 时间: 2022-10-28 15:18
32位版的没有？

作者: 神女软件定制 时间: 2022-10-28 21:52

jin1oo1 发表于 2022-10-28 15:18
32位版的没有？

依赖内存，32位内存限制处理不了多大文本，没弄

作者: 益玮 时间: 2022-10-29 17:25
6666666666666666666

作者: 听风看海 时间: 2022-11-10 00:55
过来看看

作者: 听风看海 时间: 2022-11-10 12:06

作者: Aa798040941 时间: 2022-11-18 21:28
不错不错

作者: 原点╮ 时间: 2022-11-20 16:40
这个工具正需要,下载来收藏了

作者: lnbpwy2020 时间: 2022-11-23 14:47

{:7_436:}{:7_436:}{:7_436:}

作者: shisenhua 时间: 2022-11-24 12:35
我来灌水了.楼主好棒

作者: laojikiss200 时间: 2022-11-25 15:44

好东西

作者: 1477243344 时间: 2022-12-9 10:54
学习学习

作者: 清风徐来2 时间: 2022-12-9 11:57
感谢分享

作者: 小琳的世界 时间: 2022-12-14 14:56
眼眼眼眼眼眼眼眼

作者: 瑶总要困告了 时间: 2022-12-15 00:56
[fly]看看[/fly]

作者: zghnsy127 时间: 2022-12-15 14:58
感谢分享

作者: linheng 时间: 2022-12-21 12:02
这个工具正需要,下载来收藏了

作者: xiaoyang0990 时间: 2022-12-24 22:40
我来灌水了.楼主好棒

作者: lijiafeng110 时间: 2023-1-1 21:51

这个工具正需要,下载来收藏了

作者: 極度壞 时间: 2023-1-8 06:46
这个工具正需要

作者: 在啊啊 时间: 2023-1-8 13:32
厉害。。。。。。。。。。。。。。。。。。。。。。。。。。。

作者: 3175931046 时间: 2023-1-14 19:53
正需要这个工具感谢

作者: suchenxuan 时间: 2023-1-17 02:01
666666666666666666666666666

作者: soft888 时间: 2023-1-25 18:20

这个工具正需要,下载来收藏了

作者: shuaier 时间: 2023-1-28 21:31
这个工具正需要,下载来收藏了

作者: 郭家三少 时间: 2023-2-28 16:31
支持~！感谢分享~！

作者: 小牛咪咪 时间: 2023-3-4 03:07

作者: guyue98 时间: 2023-4-3 16:15
谢谢分享

作者: 纯真少女 时间: 2023-4-3 17:41
支持一下，学习看看~~

作者: f15007937680 时间: 2023-4-18 12:48
这个可以去重复章节吗

作者: fushiya 时间: 2023-4-21 21:13
666666666666666666

作者: 603007856 时间: 2023-5-23 20:12
66666666666666666

作者: sun2258 时间: 2023-7-12 10:55
感谢分享啊感谢分享啊

作者: 忆美科技 时间: 2023-8-13 01:45
全部读入内存是处理不了大文本的

作者: mengchao 时间: 2023-8-13 18:39
威武啊老哥

作者: 1468848161 时间: 2023-8-14 13:47
感谢发布原创作品!

作者: ning0819 时间: 2023-8-19 08:53
6666666666666666666666666666666666666666666666

作者: zxyccvv 时间: 2023-8-20 20:04
开源精神必须支持~

作者: xieqingb 时间: 2023-9-12 14:27
没源码啊

作者: idbucunzai 时间: 2023-10-27 10:17
谢谢分享

作者: heihuoge 时间: 2023-10-30 20:35
支持精易论坛,,很好,很好

作者: Anleton 时间: 2023-11-7 20:10
我就是一学生，过来学习的，开源吧，女神，

作者: idbucunzai 时间: 2023-11-26 12:25
谢发布原创作品，精易因你更精彩！

作者: idbucunzai 时间: 2023-12-6 09:13
支持开源~！感谢分享

作者: welkin 时间: 2023-12-6 09:15
牛！这速度绝对了

作者: idbucunzai 时间: 2023-12-8 11:30
支持开源~！感谢分享

作者: idbucunzai 时间: 2023-12-12 08:07
感谢分享，很给力！~

作者: tank2012t 时间: 2024-1-15 12:27
好东西分享出来支持一下

作者: wh1234567 时间: 2024-1-17 00:21
感谢楼主分享

作者: yangzhengkun 时间: 2024-2-18 07:45
厉害厉害，学习一下

作者: 梦想家豆子 时间: 2024-2-22 21:09
这个方便点

作者: nlxxbc 时间: 2024-2-22 22:35
好啊的。。。

作者: xtqchenfeng10 时间: 2024-4-6 22:19
必须学习下

作者: mu396 时间: 2024-4-28 17:04
谢谢分享

作者: deon 时间: 2024-5-12 12:43
谢谢分享

作者: 我很低调 时间: 2024-6-2 18:13

作者: 凉兮 时间: 2024-6-3 11:11
开源精神必须支持~

作者: nihao3312 时间: 2024-6-3 15:10
好东西分享出来支持一下

作者: yuantou001 时间: 2024-6-29 17:40
好好好好好好好好好好好好好好好好好好好好好好好好好好好好好好好好好好好好好好好好好好好好好好谢谢谢谢谢谢谢谢谢谢谢谢谢谢谢谢谢谢谢谢谢谢谢谢谢谢谢谢谢谢谢谢谢谢谢谢谢谢谢谢谢谢谢谢谢谢谢谢谢谢

作者: tian1 时间: 2024-7-2 19:53
厉害厉害，学习一下

作者: 菌菌 时间: 2024-7-3 07:48

匹配不到

作者: ktbpy 时间: 2024-7-16 08:30

支持开源~！感谢分享

作者: Smile淡蓝 时间: 2024-8-10 10:24
只支持TXT的文件吧，WORD这些的支持不

作者: 1253363143 时间: 2024-8-31 17:03
感谢楼主的分享

作者: 何浩文 时间: 2024-9-2 11:26
支持开源~！感谢分享

欢迎光临精易论坛 (https://125.confly.eu.org/)