精易论坛

标题: 百万手机号到二百万手机号快速查重并写出,用时1.3秒 [打印本页]

作者: 我爱樱木 时间: 2023-6-14 22:40
标题: 百万手机号到二百万手机号快速查重并写出,用时1.3秒
功能: 读取历史库(200W+手机号),读取对比(150W+手机号),把"对比"到"历史库"里面查重,最后把"历史库"里面不存在的手机号写出到文本文档.
起因:前几天一个兄弟写的处理时间需要几分钟,小弟感觉速度太慢了,于是遍查论坛,东拼西凑出来这个东西,有大佬能再提速,那是更好不过了.
效果:以上一整套下来,1.3秒,本人垃圾电脑,CPU E3-1230,大哥们电脑好的话,应该能在一秒以内.
调用模块三个论坛都有,1-哈希表_ASM(作者:落,利用哈希表查重),2-高效命令处理(作者:福仔,利用(分割文本_快速)来快速分割读取到的文本),3-精易模块(作者:福仔,利用(数组_合并_快速)来快速合并文本数组到文本) 两个测试的txt链接:链接：https://pan.baidu.com/s/11m8F_5JTQgf6OD_E4sq8iw?pwd=uwtr
提取码：uwtr
--来自百度网盘超级会员V2的分享

作者: 我爱樱木 时间: 2023-6-14 22:41
源码在这里,发布的时候传几次没传上

对比取不重复.rar

232.25 KB, 下载次数: 27, 下载积分: 精币 -2 枚

作者: 396384183 时间: 2023-6-15 08:25

学习一下

作者: 一指温柔 时间: 2023-6-15 08:41
学习一下

作者: crossdiy 时间: 2023-6-15 09:13
感谢分享。

作者: 风清云游 时间: 2023-6-15 09:50
想要更高的效率首先不应该分割其次不应该用哈希

作者: 我爱樱木 时间: 2023-6-15 10:22

风清云游发表于 2023-6-15 09:50
想要更高的效率首先不应该分割其次不应该用哈希

大佬有什么建议

作者: 风清云游 时间: 2023-6-15 10:37

我爱樱木发表于 2023-6-15 10:22
大佬有什么建议

建议再看看易语言基础教程另外复习一下字典的使用方法

作者: wjswzj0 时间: 2023-6-15 12:22
学习一下

作者: 我爱樱木 时间: 2023-6-15 13:07

风清云游发表于 2023-6-15 10:37
建议再看看易语言基础教程另外复习一下字典的使用方法

json?感觉没有哈希快吧

作者: xtavoxing 时间: 2023-6-15 13:43

风清云游发表于 2023-6-15 09:50
想要更高的效率首先不应该分割其次不应该用哈希

大佬指点一下嘛,要怎么弄呢

作者: mitu520 时间: 2023-6-15 15:58

感谢分享

作者: JYYeah 时间: 2023-6-15 18:19

学习一下

作者: pipicool 时间: 2023-6-15 19:01
学习一下

作者: 笨来无一悟 时间: 2023-6-15 22:24
没听懂你这功能具体是啥对比和历史库里面的号码都是没有重复的然后看历史库里面存不存在对比里面的号码没有的就写出来?

作者: 笨来无一悟 时间: 2023-6-15 22:27
如果是判断某个文本里面的某个号码是否存在重复那寻找文本倒找文本位置不一样那就是存在重复具体速度就不得而知了哈

作者: 笨来无一悟 时间: 2023-6-15 22:38
大约是?对比里面的号码在历史库里面不存在就另外存一份?

作者: 笨来无一悟 时间: 2023-6-15 23:01

风清云游发表于 2023-6-15 09:50
想要更高的效率首先不应该分割其次不应该用哈希

这个哈希好像是用的汇编速度确实挺快就优化也没啥优化空间了

作者: 就是你了 时间: 2023-6-16 08:34
学习一下

作者: 一指温柔 时间: 2023-6-16 08:49
学习一下

作者: 704910100 时间: 2023-6-16 09:01

支持一下!

作者: 我爱樱木 时间: 2023-6-16 10:23

笨来无一悟发表于 2023-6-15 22:24
没听懂你这功能具体是啥对比和历史库里面的号码都是没有重复的然后看历史库里面存不存在对比里面的 ...

是的,拿对比到历史库里头找,把历史库里面没有的全部写出

作者: cg5471 时间: 2023-6-16 13:41

学习一下

作者: 465228962 时间: 2023-6-17 17:52
千万查重2秒内https://125.confly.eu.org/forum.php?mod=viewthread&tid=14692362

作者: cheny993 时间: 2023-6-18 02:59
支持开源~！感谢分享

作者: Conquer 时间: 2023-6-18 08:48
支持开源~！感谢分享

作者: 1347379245 时间: 2023-6-18 11:47
感谢分享

作者: w1398113241 时间: 2023-6-23 20:25
感谢感谢

作者: haoqi2015 时间: 2023-7-1 12:13
超过0.5秒已经很慢了

作者: 我爱樱木 时间: 2023-7-3 14:48

haoqi2015 发表于 2023-7-1 12:13
超过0.5秒已经很慢了

大佬搞一个学习学习,追求极限

作者: 想学易语言 时间: 2023-7-7 19:51
只有文件，没有E源码呀

欢迎光临精易论坛 (https://125.confly.eu.org/)