精易论坛

标题: 通用型数组处理支持自定义类型去重取差集取并集 [打印本页]

作者: 咸鱼666 时间: 2023-9-26 15:45
标题: 通用型数组处理支持自定义类型去重取差集取并集
上个帖子：https://125.confly.eu.org/forum.php?mod ... 14785062&extra=
本次更新内容：
1、数组_去重复_，新增两个可空参数：自定义数据名称和目标数据类型成员名，现支持自定义类型的数组去重，需要传入数据类型的名称，在使用前需要使用一次映射_初始化，指定目标数据类型成员名后，将只比较目标成员值，如果一致就会删除重复的
2、新增数组_取并集和数组_取交集，都支持自定义类型的数组，前者是将两个数组合并去重到一个新数组，后者是将两个数组中不一样的成员合并到一个新数组
速度可以测试，还是很快的

作者: yangdoudou 时间: 2023-9-26 16:26
给楼主点赞或评分打赏，让楼主更有动力创作优秀内容！

作者: Elite 时间: 2023-9-26 16:31
支持一下...

作者: w1398113241 时间: 2023-9-26 16:39
支持一下...

作者: 网络注册网员 时间: 2023-9-26 16:51
支持一下...

作者: 果心豆腐酱 时间: 2023-9-26 16:58
现支持自定义类型的数组去重

作者: 鱼雨遇玉羽 时间: 2023-9-26 18:03
偷偷看一下

作者: 深圳梦 时间: 2023-9-26 18:37
新技能已get√

作者: a3960382663 时间: 2023-9-26 18:55
新技能已get√

作者: ZHuanR 时间: 2023-9-26 19:13
新技能已get√

作者: w1398113241 时间: 2023-9-26 19:45
感谢大佬

作者: yigeshenwang 时间: 2023-9-26 20:18
我来了..........................

作者: bbcwo 时间: 2023-9-26 20:35
数据百万呢

作者: 酷易自绘 时间: 2023-9-26 20:41
RE: 通用型数组处理支持自定义类型去重取差集取并集

作者: ·强颜欢笑 时间: 2023-9-26 20:50

新技能已get√

作者: gdhong 时间: 2023-9-26 21:12
支持开源~！感谢分享

作者: 咸鱼666 时间: 2023-9-26 21:42

bbcwo 发表于 2023-9-26 20:35
数据百万呢

你可以测试，之前测试千万数据也还行

作者: pipicool 时间: 2023-9-26 22:00
学习一下

作者: 一尘不染 时间: 2023-9-26 22:27
支持开源~！感谢分享

作者: 夏亿 时间: 2023-9-26 22:34
开源精神必须支持~

作者: 美味萝卜 时间: 2023-9-26 22:37
支持开源~！感谢分享

作者: 临安 时间: 2023-9-26 23:33
膜拜大佬！大佬牛B！

作者: bianyuan456 时间: 2023-9-26 23:36
已经顶贴，感谢您对论坛的支持！

作者: 查过 时间: 2023-9-27 06:35
感谢发布原创作品，精易因你更精彩！6666666666666

作者: 豆豆灰常开心 时间: 2023-9-27 06:40
感谢您对论坛的支持！

作者: shituo 时间: 2023-9-27 07:30
、数组_去重

作者: 反客为主 时间: 2023-9-27 07:42
新技能已get√

作者: 396384183 时间: 2023-9-27 07:48
某料二维码生成

作者: 一指温柔 时间: 2023-9-27 08:35
感谢发布原创作品

作者: 君九 时间: 2023-9-27 08:36
感谢您对论坛的支持

作者: 猪滴寳貝哝 时间: 2023-9-27 11:18
感谢分享！

作者: happyweeks365 时间: 2023-9-27 11:45
666666666666666666666666666

作者: 515889127 时间: 2023-9-27 14:58
感谢分享

作者: camingo 时间: 2023-9-27 16:28
支持楼主

作者: xjdgs 时间: 2023-9-27 19:07

支持楼主

作者: bjlixin 时间: 2023-9-27 19:17
支持楼主

作者: 查过 时间: 2023-9-28 06:30
感谢您对论坛的支持！

作者: 豆豆灰常开心 时间: 2023-9-28 06:35
已经顶贴，感谢您对论坛的支持！

作者: jiyu2 时间: 2023-9-28 08:41
6666666666

作者: jiyu2930 时间: 2023-9-28 08:46
6666666669699

作者: po1718 时间: 2023-9-28 10:57
新技能已get√

作者: 胖子葛格 时间: 2023-9-28 17:01
感谢大神分享~！

作者: 天在笑 时间: 2023-9-28 20:37

学习了，感谢分享

作者: 小窗润轻风 时间: 2023-9-29 07:29
功能模块化了，使用就是方便

作者: 柠檬秋刀鱼 时间: 2023-9-29 17:15
感谢分享，很给力！~

作者: SoloCat 时间: 2023-9-29 21:52

作者: 光影魔术 时间: 2023-9-29 23:38
感谢分享

作者: weiyoucg 时间: 2023-10-2 05:40
数组_取并集和数组_取交集，都支持自定义类型的数组

作者: oldghost 时间: 2023-10-2 07:41
感谢分享!

作者: 13623217111 时间: 2023-10-2 08:16
感谢楼主分享。谢谢

作者: 13623217111 时间: 2023-10-2 09:27

感谢楼主分享。谢谢

作者: french007 时间: 2023-10-2 15:38
感谢分享，很给力！~

作者: 倾风听雨声 时间: 2023-10-3 00:40
感谢分享

作者: incwin 时间: 2023-10-3 09:08
感谢分享

作者: Shanks 时间: 2023-10-3 09:21

作者: D名俾人改晒 时间: 2023-10-3 10:38
666666666666666666666

作者: 小蚕 时间: 2023-10-5 16:49
感谢分享，很给力！~

作者: pzypdl 时间: 2023-10-7 17:44
看看怎么样

作者: xyh3526 时间: 2023-10-9 02:39
感谢分享，很给力！~

作者: li110 时间: 2023-10-13 23:01
都支持自定义类型的数组

作者: 韦贝贝 时间: 2023-10-17 09:58
感谢分享，很给力！~

作者: dol 时间: 2023-10-22 14:34
666666666666

作者: snufgpl 时间: 2023-10-24 22:50
感谢分享，很给力！~

作者: Av0x 时间: 2023-11-19 22:48
羡慕大佬啊，谢谢开源，但是没法对比本地或者数据库的内容然后确定是否存在重复存在就跳过不存在就入库

作者: 咸鱼666 时间: 2023-11-19 23:19

Av0x 发表于 2023-11-19 22:48
羡慕大佬啊，谢谢开源，但是没法对比本地或者数据库的内容然后确定是否存在重复存在就跳过不存在就入库 ...

如果是自带的数据类型，直接数组_是否存在_，如果是自定义数据类型，可能需要用到YYDS的映射，映射成json，然后判断是否有目标内容的json值

作者: Av0x 时间: 2023-11-19 23:28

咸鱼666 发表于 2023-11-19 23:19
如果是自带的数据类型，直接数组_是否存在_，如果是自定义数据类型，可能需要用到YYDS的映射，映射成json ...

就是常见的文本型数组，其实就是爬chong，因为我也不知道网站里面的内容是否爬过入库过，python里面的我的做法比较蠢，就是好爬过的详情页存到本地txt里面，爬的时候判断详情页是否在本地里面，如果在就跳过，不在就继续爬取然后入库

作者: 咸鱼666 时间: 2023-11-19 23:43

Av0x 发表于 2023-11-19 23:28
就是常见的文本型数组，其实就是爬chong，因为我也不知道网站里面的内容是否爬过入库过，python里面的我 ...

保存本地的时候最好写到数据库或者什么方式，对应详情页网址和txt文件名

作者: Av0x 时间: 2023-11-19 23:45

咸鱼666 发表于 2023-11-19 23:43
保存本地的时候最好写到数据库或者什么方式，对应详情页网址和txt文件名 ...

好麻烦啊

再搜索redis看看

作者: year1970 时间: 2024-4-30 07:42
感谢分享

作者: mnin 时间: 2024-5-24 08:51
感谢分享，学习一下

欢迎光临精易论坛 (https://125.confly.eu.org/)