精易论坛»论坛 › 技术专区 › 源码区 › 通用型数组处理支持自定义类型去重取差集取并集 ...

通用型数组处理支持自定义类型去重取差集取并集

查看数: 4833 | 评论数: 69 | 收藏 7

关灯 | 提示：支持键盘翻页 & lt;-左右 ->

帖子模式

咸鱼666

发布时间: 2023-9-26 15:45

正文摘要:

上个帖子：https://125.confly.eu.org/forum.php?mod ... 14785062&extra= 本次更新内容： 1、数组_去重复_，新增两个可空参数：自定义数据名称和目标数据类型成员名，现支持自定义类型的数组去重，需要传入数据类型的名称 ...

mnin 安徽省合肥市 发表于 2024-5-24 08:51:41

感谢分享，学习一下

year1970 山东省淄博市 发表于 2024-4-30 07:42:43

感谢分享

Av0x 云南省临沧市 发表于 2023-11-19 23:45:39

咸鱼666 发表于 2023-11-19 23:43
保存本地的时候最好写到数据库或者什么方式，对应详情页网址和txt文件名 ...

好麻烦啊

再搜索redis看看

咸鱼666 安徽省滁州市 发表于 2023-11-19 23:43:32

Av0x 发表于 2023-11-19 23:28
就是常见的文本型数组，其实就是爬chong，因为我也不知道网站里面的内容是否爬过入库过，python里面的我 ...

保存本地的时候最好写到数据库或者什么方式，对应详情页网址和txt文件名

Av0x 云南省临沧市 发表于 2023-11-19 23:28:46

咸鱼666 发表于 2023-11-19 23:19
如果是自带的数据类型，直接数组_是否存在_，如果是自定义数据类型，可能需要用到YYDS的映射，映射成json ...

就是常见的文本型数组，其实就是爬chong，因为我也不知道网站里面的内容是否爬过入库过，python里面的我的做法比较蠢，就是好爬过的详情页存到本地txt里面，爬的时候判断详情页是否在本地里面，如果在就跳过，不在就继续爬取然后入库

咸鱼666 安徽省滁州市 发表于 2023-11-19 23:19:01

Av0x 发表于 2023-11-19 22:48
羡慕大佬啊，谢谢开源，但是没法对比本地或者数据库的内容然后确定是否存在重复存在就跳过不存在就入库 ...

如果是自带的数据类型，直接数组_是否存在_，如果是自定义数据类型，可能需要用到YYDS的映射，映射成json，然后判断是否有目标内容的json值

Av0x 云南省临沧市 发表于 2023-11-19 22:48:27

羡慕大佬啊，谢谢开源，但是没法对比本地或者数据库的内容然后确定是否存在重复存在就跳过不存在就入库

snufgpl 广西壮族自治区南宁市 发表于 2023-10-24 22:50:10

感谢分享，很给力！~

dol 湖北省黄冈市 发表于 2023-10-22 14:34:38

666666666666

sitemap| 易语言源码| 易语言教程| 易语言论坛| 易语言模块| 手机版| 广告投放| 精易论坛
拒绝任何人以任何形式在本论坛发表与中华人民共和国法律相抵触的言论，本站内容均为会员发表，并不代表精易立场!
论坛帖子内容仅用于技术交流学习和研究的目的，严禁用于非法目的，否则造成一切后果自负！如帖子内容侵害到你的权益，请联系我们！
防范网络诈骗，远离网络犯罪违法和不良信息举报电话0663-3422125，QQ： 793400750，邮箱：[email protected]
网站简介：精易论坛成立于2009年，是一个程序设计学习交流技术论坛，隶属于揭阳市揭东区精易科技有限公司所有。
Powered by Discuz! X3.4 揭阳市揭东区精易科技有限公司 ( 粤ICP备12094385号-1) 粤公网安备 44522102000125　增值电信业务经营许可证粤B2-20192173

		自动登录	找回密码
密码			注册

通用型数组处理 支持自定义类型 去重 取差集 取并集

正文摘要:

回复

通用型数组处理支持自定义类型去重取差集取并集