精易论坛

标题: bitmap 整数去重 1000万数据只需要1MB内存 [打印本页]

作者: 勾栏听曲    时间: 2023-1-31 21:36
标题: bitmap 整数去重 1000万数据只需要1MB内存
本帖最后由 勾栏听曲 于 2023-1-31 21:38 编辑







用bitmap去重的优点就是节省空间,当有最大整数2147483647的时候为最差情况,也仅需要250MB内存,10000000以内的整数只需要额外的1MB内存





bitmap.zip (265.53 KB, 下载次数: 111)

作者: 鹏书    时间: 2023-1-31 21:40
1000w的数据去重复只要625毫秒吗?
作者: 网络注册会员    时间: 2023-1-31 21:55
学习一下
作者: 明天自然醒    时间: 2023-1-31 22:19
这个应该没必要排序吧,找出最大值就行了

O(log(n))  O(n)
作者: 凌哥    时间: 2023-2-1 02:29
这个思路不错,也可以拿来做 IP段黑/白名单快速查找定位
作者: 凌哥    时间: 2023-2-1 02:46
明天自然醒 发表于 2023-1-31 22:19
这个应该没必要排序吧,找出最大值就行了

O(log(n))  O(n)

他排序的目的就是为了找出最大值
作者: 大师兄是反派    时间: 2023-2-1 05:59
谢谢分享我来学学
作者: 大胜科技    时间: 2023-2-1 08:40
可以啊 速度不错
作者: 53770zhang    时间: 2023-2-1 08:53
这个很厉害
作者: xiaoxiao2    时间: 2023-2-1 09:03
感谢分享
作者: kezhuanwang    时间: 2023-2-1 09:56
感谢分享
作者: 杰西卡技术传媒    时间: 2023-2-1 10:04
感谢分享
作者: bianyuan456    时间: 2023-2-1 12:02
感谢分享
作者: bianyuan456    时间: 2023-2-1 12:19
看着很厉害,看看
作者: 勾栏听曲    时间: 2023-2-1 13:14
明天自然醒 发表于 2023-1-31 22:19
这个应该没必要排序吧,找出最大值就行了

O(log(n))  O(n)

是的,找出最大值就行了,但是排序之后结果也排序好的
作者: quary888    时间: 2023-2-1 13:23
谢谢楼主分享!!! 好人一生平安!!!
作者: shj0205    时间: 2023-2-1 13:52
感谢分享!
作者: xjshuaishuai    时间: 2023-2-1 15:57
谢谢分享!
作者: kanhaiyouyue    时间: 2023-2-1 17:27
能否出一个文本数组去重的.......
作者: 夏亿    时间: 2023-2-1 21:05
感谢分享
作者: 396384183    时间: 2023-2-2 00:43
感谢分享
作者: shj0205    时间: 2023-2-2 12:44
感谢分享!
作者: myl1712    时间: 2023-2-2 20:35
能不能去重文本的
作者: kanhaiyouyue    时间: 2023-2-3 10:29
能搞个文本的去重还有这么快就牛逼了
作者: sinewtec    时间: 2023-2-5 11:52
        支持开源~!感谢分享
作者: shuya1    时间: 2023-2-6 09:52
感谢分享!
作者: aadada    时间: 2023-2-6 18:38
这个可以看看什么写法
作者: eyy2017    时间: 2023-2-9 10:29
66666666666666666666666
作者: eyy2017    时间: 2023-2-9 10:29
6666666666666666666666666666666666666666
作者: 小白阿    时间: 2023-2-14 00:37
66666666666666
作者: 龍殇    时间: 2023-2-22 14:07
支持开源~!感谢分享
作者: miku2033    时间: 2023-3-2 20:03
支持开源~!感谢分享
作者: wanghua2015    时间: 2024-9-19 17:06
感谢分享!




欢迎光临 精易论坛 (https://125.confly.eu.org/) Powered by Discuz! X3.4