精易论坛

标题: 爬虫监控数据储存数据对比数据 [打印本页]

作者: Liujian123 时间: 昨天 04:30
标题: 爬虫监控数据储存数据对比数据
店铺一  纸巾价格 15  库存 100
         拖把价格 20  库存 120
         ........
         ........

店铺二  水盆价格 30  库存 90
         筷子价格 10  库存 95
         ........
         ........

间隔几秒爬取这些信息,键值储存起来，下一次爬取后再把上一次储存的取出来对比价格库存等,想用Redis数据库来存取这些数据，但是不懂Redis，也没有找到类似我这种的Redis例子,跪求一份把这个列子存取的代码,或者不用Redis数据库有其它更适合的数据库,又或者不用数据库用其他方法,有经验的大佬都可以给个建议

作者: love5618775 时间: 昨天 06:09
用MYSQL就可以了，redis更适合消息队列和会话，你用MYSQL，把纸巾做索引，每秒写价格和库存，记录写入时间，过滤价格的重复项，按时间排序就可以看价格曲线，库存同理，当然，可以多写一个判断对重复采集的价格和库存数据删除，也可以把价格和库存分2个表去搞

作者: mytiger 时间: 昨天 09:01
用这个吧基于谷歌开源的 LevelDB 键值库封装模块迭代
https://125.confly.eu.org/forum.php?mod=viewthread&tid=14770677

作者: designer 时间: 昨天 09:56
sqlite试试，也不用安装那么多环境

作者: imoling 时间: 昨天 10:45
看你得开发语言是什么，如果是易的话，找几个redis的模块，就好了。要安装redis。个人建议，用php方便点，直接安装一个小皮或宝塔附加mysql redis一键给你搞定，然后后端写redis的处理。你易语言自然也能直接调用，get post过去，扔进去就好了。很方便。
然后new 一个redis(),就直接可以开始 $redis->set() $redis->get() 或其他操作。爽歪歪呀

作者: 山咔咔d老表 时间: 昨天 11:35

作者: 戒卜掉思恋 时间: 昨天 14:59
使用python更加方便,感觉不是很难~

作者: 迷糊的弟弟 时间: 昨天 16:53
最简单的方式，就是用数组了，["纸巾,15,100"]，取两次的数组结果进行对比就行了

欢迎光临精易论坛 (https://125.confly.eu.org/)