开启辅助访问 切换到宽版

精易论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

用微信号发送消息登录论坛

新人指南 邀请好友注册 - 我关注人的新帖 教你赚取精币 - 每日签到


求职/招聘- 论坛接单- 开发者大厅

论坛版规 总版规 - 建议/投诉 - 应聘版主 - 精华帖总集 积分说明 - 禁言标准 - 有奖举报

查看: 208|回复: 7
打印 上一主题 下一主题
收起左侧

[精币悬赏] 爬虫监控数据储存数据对比数据

[复制链接]
结帖率:85% (39/46)
跳转到指定楼层
楼主
发表于 昨天 04:30 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式   广东省佛山市
200精币
店铺一  纸巾 价格 15  库存 100
           拖把 价格 20  库存 120
           ........
           ........

店铺二  水盆 价格 30  库存 90
            筷子 价格 10  库存 95
           ........
           ........

间隔几秒爬取这些信息,键值储存起来,下一次爬取后再把上一次储存的取出来对比价格库存等,想用Redis数据库来存取这些数据,但是不懂Redis,也没有找到类似我这种的Redis例子,跪求一份把这个列子存取的代码,或者不用Redis数据库有其它更适合的数据库,又或者不用数据库用其他方法,有经验的大佬都可以给个建议

结帖率:63% (5/8)

签到天数: 7 天

沙发
发表于 昨天 06:09 | 只看该作者   湖南省长沙市
用MYSQL就可以了,redis更适合消息队列和会话,你用MYSQL,把纸巾做索引,每秒写价格和库存,记录写入时间,过滤价格的重复项,按时间排序就可以看价格曲线,库存同理,当然,可以多写一个判断对重复采集的价格和库存数据删除,也可以把价格和库存分2个表去搞
回复

使用道具 举报

签到天数: 13 天

板凳
发表于 昨天 09:01 | 只看该作者   安徽省安庆市
用这个吧基于谷歌开源的 LevelDB 键值库封装模块迭代
https://125.confly.eu.org/forum.php?mod=viewthread&tid=14770677


回复

使用道具 举报

签到天数: 12 天

地板
发表于 昨天 09:56 | 只看该作者   广西壮族自治区南宁市
sqlite试试,也不用安装那么多环境
回复

使用道具 举报

结帖率:43% (3/7)

签到天数: 11 天

地下
发表于 昨天 10:45 | 只看该作者   浙江省温州市
看你得开发语言是什么,如果是易的话,找几个redis的模块,就好了。要安装redis。个人建议,用php方便点,直接安装一个小皮或宝塔附加mysql redis一键给你搞定,然后后端写redis的处理。你易语言自然也能直接调用,get post过去,扔进去就好了。很方便。
然后new 一个redis(),就直接可以开始 $redis->set() $redis->get() 或其他操作。爽歪歪呀
回复

使用道具 举报

结帖率:83% (10/12)

签到天数: 10 天

6
发表于 昨天 11:35 | 只看该作者   四川省成都市
回复

使用道具 举报

结帖率:93% (93/100)

签到天数: 3 天

7
发表于 昨天 14:59 | 只看该作者   四川省成都市
使用python更加方便,感觉不是很难~
回复

使用道具 举报

结帖率:100% (22/22)

签到天数: 16 天

8
发表于 昨天 16:53 | 只看该作者   江西省九江市
最简单的方式,就是用数组了,["纸巾,15,100"],取两次的数组结果进行对比就行了
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

本版积分规则 致发广告者

发布主题 收藏帖子 返回列表

sitemap| 易语言源码| 易语言教程| 易语言论坛| 易语言模块| 手机版| 广告投放| 精易论坛
拒绝任何人以任何形式在本论坛发表与中华人民共和国法律相抵触的言论,本站内容均为会员发表,并不代表精易立场!
论坛帖子内容仅用于技术交流学习和研究的目的,严禁用于非法目的,否则造成一切后果自负!如帖子内容侵害到你的权益,请联系我们!
防范网络诈骗,远离网络犯罪 违法和不良信息举报电话0663-3422125,QQ: 793400750,邮箱:[email protected]
网站简介:精易论坛成立于2009年,是一个程序设计学习交流技术论坛,隶属于揭阳市揭东区精易科技有限公司所有。
Powered by Discuz! X3.4 揭阳市揭东区精易科技有限公司 ( 粤ICP备12094385号-1) 粤公网安备 44522102000125 增值电信业务经营许可证 粤B2-20192173

快速回复 返回顶部 返回列表