[回帖+10]讨论一下后端大数据分配的问题~

醉看ジ笑红颜づ

讨论一下平台项目的:存储与分配

假设当前用户请求到达需要给他返回一个数据,已有大数据(类区分):总列表数据(1千万),该用户使用黑名单记录(500万),当前被已被占用数据(1百万),

单条数据时效不知,但会失效.可能1分钟,也可能1个小时,总列表会一直维持最新数据,因为数据可重复被使用,所以不能更改他,只能读。

每个类的数据的格式都是一样的并且在类唯一。

怎么在仅剩的400万数据内快速得到 1个 "未在该用户黑名单,且未被占用的数据"(拒绝遍历)


据我的个人的理解,MYSQL虽然功能丰富,但是是支撑不了多高的并发,

我想象中的正确架构:应该都是做缓存进行存储和分配的或使用redis框架,

redis集合可以对比出差集,可以用于对比数据过滤,速度很快,但是这么大的数据过滤,用于实际的生产环境"去并发处理"肯定会出问题/

小伙伴们有没有关于这方面的架构思路,可以在帖子里讲一下自己的想法或者案列,或推荐一些具有功能丰富的大数据处理框架也OK.

xiaobaibk47

话不多说，拿钱走人。

醉看ジ笑红颜づ

xiaobaibk47 发表于 2018-9-28 22:20
话不多说，拿钱走人。

蓝瘦香菇。。

金金金Au

对于这种高深的技术贴，我只想说，谢谢楼主的10jb

爱生活爱大乔

ApacheSpark  最近正在研究

天风海

话不多说，拿钱走人。

挖矿

话不多说，还能不能拿笔

梵笙

话不多说，拿钱走人。        

橙子呀

话不多说，拿钱走人。

gaoqing

我是帮忙顶起的