精易论坛

标题: 大文本去重复 [打印本页]

作者: sm666 时间: 2020-3-20 03:15
标题: 大文本去重复
本帖最后由 sm666 于 2020-3-20 03:18 编辑

新手刚学习HashMap类模块的使用，写了个文本去重复分享一下，大佬们不要嘲讽我哈~

总文本内有1000000条xx
对比文本内有5000+9条不重复xx
去完重复xx只需要7秒

使用了论坛不记得哪个大佬开源的一个“文本_取行数”的子程序，挺牛逼的！！！

精币告急，收点点小小费~

123.e (853.89 KB, 下载次数: 659)

HashMap类.zip (3.24 KB, 下载次数: 477)

作者: happyweeks365 时间: 2020-3-20 08:11
看看那。。。。。。。。。。

作者: 六升臣 时间: 2020-3-20 08:18
挺牛逼的！！！

作者: LYForever 时间: 2020-3-20 08:59
路过看下~~~

作者: 在线接单1 时间: 2020-3-20 09:25
奥利给，干了，感谢分享

作者: huaidan2015 时间: 2020-3-20 09:38
有没有随机数算法，生成一个亿不重复

作者: 孝天 时间: 2020-3-20 09:39
插眼，谢谢分享大文本去重复

作者: 悟心猎手 时间: 2020-3-20 10:13
，感谢分享

作者: applepear 时间: 2020-3-20 11:40
我的U币~~~~~~~~~~~

作者: applepear 时间: 2020-3-20 11:47
置入代码这里给注释下，用到了汇编，给新手学习下，否则看不懂

作者: ylcc2008 时间: 2020-3-20 13:10
感谢分享！！！

作者: chencong5025 时间: 2020-3-20 14:26
我会告诉你 C# Delphi 100W去重比你这5000条去重还快么= =#

不想打击你

作者: 552233 时间: 2020-3-20 15:31
感谢楼主分享

作者: vhk 时间: 2020-3-25 09:13
谢谢分享大文本去重复

作者: 幻月工作室 时间: 2020-3-25 09:23
一百万条就叫大文本了，打破了我的认知，几千万上亿的算什么

作者: sm666 时间: 2020-3-25 18:58

12368 发表于 2020-3-25 09:23
一百万条就叫大文本了，打破了我的认知，几千万上亿的算什么

何必打击我这个入门没几天的呢

作者: 伟少少 时间: 2020-3-26 23:42
挺有意思的哈哈

作者: tellmesy 时间: 2020-3-28 17:18
支持一下

作者: heyuchuan0324 时间: 2020-4-15 23:54
还是不过大！老铁试试1亿条xx，10亿条xx

作者: 游弋徜徉 时间: 2020-5-6 15:06
感谢分享，很给力！~

作者: sgwyyjs 时间: 2020-5-16 16:10
6666666666666666666666666

作者: 723349703 时间: 2020-6-3 00:06
下载下来研究下看看

作者: 103905859 时间: 2020-12-25 12:29
下载下来研究下看看

作者: welisis 时间: 2021-1-2 15:58
还我精币还我精币还我精币

作者: la123789 时间: 2021-1-2 19:12
特别好用，去重速度极快。

作者: 孤城已故 时间: 2021-1-3 19:41
瞅瞅看

作者: 瓶中仙子 时间: 2021-1-8 00:45
没有效果，没有去重复呢

作者: welisis 时间: 2021-1-10 15:12
看看我记得上次下载过

作者: 604163129 时间: 2021-3-5 00:38
高级了点

作者: dashang 时间: 2021-3-24 00:34
支持开源~！感谢分享

作者: 小牛咪咪 时间: 2021-5-17 23:40

作者: syl199312 时间: 2021-7-10 01:18
支持开源~！感谢分享

作者: llg1983 时间: 2021-8-2 17:56
老哥数据太大的时候会出现 “字节内存失败” 有什么办法解决吗

作者: llg1983 时间: 2021-8-2 17:58
数据太大会出现字节内存失败这个怎么解决

作者: Conquer 时间: 2021-9-21 09:48
支持开源~！感谢分享

作者: 一曲离歌 时间: 2021-10-6 15:17
拿了你1JB，还给你

作者: lizebin90 时间: 2021-10-20 19:50
正需要这个我看看

作者: fyqjfb 时间: 2021-11-2 10:31

看看我记得上次下载过

作者: guozige 时间: 2021-12-6 21:17

作者: sunfly 时间: 2022-1-12 21:14
正好学习哈希

作者: tiexue1 时间: 2022-1-21 20:14
学习学习

作者: tiexue1 时间: 2022-1-21 20:14
佩服佩服

作者: 阿萨德啊啊啊 时间: 2022-3-2 00:37
111111111111111111111111

作者: 曦月 时间: 2022-3-27 19:35
论坛有你更精彩

作者: akastone 时间: 2022-4-7 13:05
学习了666666666

作者: guozige 时间: 2022-5-13 08:28

作者: 小清晰 时间: 2022-5-26 20:50
学习下...

作者: 你送的花开了 时间: 2022-5-26 20:52
可以学习下

作者: 夕昕 时间: 2022-6-19 22:43
感谢分享

作者: Aa2668 时间: 2022-6-23 03:29
ui要是好看点就好了

作者: 603007856 时间: 2022-11-15 17:46
666666666666

作者: 云中吹雪 时间: 2022-12-5 13:43
感谢分享支持

作者: 云中吹雪 时间: 2022-12-5 13:43
学习学习!

作者: 云中吹雪 时间: 2022-12-5 13:44
支持大佬

作者: 云中吹雪 时间: 2022-12-5 13:45
拿来学习

作者: shenliu91 时间: 2023-11-26 23:00
学习学习!

作者: shuya1 时间: 2023-12-1 13:38
支持开源~！感谢分享

作者: qf123 时间: 2024-4-13 13:52
6666666666666666666

作者: 帝霸天 时间: 2024-11-14 19:57
6666666666666666666

作者: sukai23 时间: 2025-1-10 05:28
123

作者: sukai23 时间: 2025-1-10 05:30

作者: 鸿运 时间: 2025-3-15 15:04
支持开源~！感谢分享

欢迎光临精易论坛 (https://125.confly.eu.org/)